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第一章矩阵乘法 

基本算法与记号 
利用结构 
块矩阵和算法 
向量化与数据巫复使用 


研究矩 阵计算 的合适出发点是矩阵与矩阵的乘法.这问题 
在数学上虽然简申-，但从计算 t 来看却是 f 分屮富 的.在§ 1.1 
中，我们看到矩阵相乘町以有好几种不同的方式，引迸了分块矩 
阵，并将其用来刻画讣算1的几种线件代数的 “级' 

如果 -- 个矩阵具有某种结构，常常可加以利用.例如，-个对 
称矩阵只需一个 般矩阵 一半的空间即可储存.在矩阵乘问量中， 
如果矩阵中有许多零兀素，则可减少许多 U 算时间.这呰问题将在 
§1.2 中讨论. 

在§ 1.3 中定义 r 块矩阵记号.块矩阵是 个 由矩阵组成的 
矩阵.这一概念 尤论足 在理论 上还足 在实践中都是十分重 要的在 
理论方面，块矩阵使得重要的矩阵分解的证明十分简洁.这些分解 
是数值线性代数的基石.从计算的角度看，块算法中有大崖的高性 
能计算机结构都靑于进行的矩阵运算，因而是重要的- 

这些新的结构要氺算法设计 t 对存储通信与实际的计算量同 
等重视■科学计算的这 点在 § 1.4 中阐明，在这一节将讨论，向 
量流水线计算的重要■因素：向量长度，向量存取和叫量再利用的 
级. 

预备知识 

熟悉 MATLAB 语言足重要的，可参阅 Pmt 叩 （1995) 和 Van 
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Loan (1996) 的教材.关于高性能矩阵计算的一本丰富的人门书是 
Dongarra , IXiff , Sorer sen 和 Vorsr (1990) .不章屮与 LAPACK 相关 
的软件 如下： 


LAPACK: -些 般运算 














_GER 










-些对称运算 




矩阵向置相乘 


y-^-aAr + /?y 

矩阵向甫相乘 


a^ 0 ^ t + a 

秩1 修正 


A ^~ a 2： y T ^- ayj： T -h A 

秩2修正 


1 C ^- aAA T + §C 

枚 k 修 IF_ 


C^aAfi T +/2JA [ + jSC 

秩 2 k 修止 

_SYMM 

C^aAB + f 或 UBA + /3C) 

对称/一般乘积 


LAPACK； 一些带状/二角运算 


_GBMV 

y—aAjr 斗 

一般带状 

_SBMV 

y^aAjr + ^y 

对称带状 

_TBMV 

t — aA^r 

二角阵 

_TPMV 

. r^—ctAx 

气角阵（按列 ff) 

_TRMM 

H^aAB 或 （』4) 

-二角/一般乘积 






§1.1 基本箅法与记号 


矩阵计算是基 丁线性 代数运算的，内积运算包括标量的加法 
和乘法■矩阵向量相乘由内积组成，矩阵弓矩阵相乘相当于一系列 
的矩阵向量相乘.所冇这 a 运算都可以用算法形式或者用线性代 
数的语言来描述.这一节的主要任务是说明这两种去达方式如何 
互补.我们将逐步引人一些 W 号以及让读者熟悉矩阵计算领域最根 
本的思维方式，讨论将围绕矩阵相乘，送种计算冇几种不冏的方式. 

1.1.1 矩阵记号 

二去 示实数集合，表示所有〃 i 行《列矩阵组成的向量 
空间： 

“11 …^ 1, 1 

A e ，…㈡ A =-- (a 0 ) i ; % e ■ 

〜 1 … <^mn I 

如果一个人写字母（如 4 ， B, A) 衷小一个矩阵，则带下标 0 的对 
应的小写字母（如％,\,\)农示矩阵在（，^)的元素.适当时，我 
们也用 [ A ]。 和 A ( i ，„;) 表示矩阵元素. 

1.1,2 矩阵运算 

基本矩阵运算包括转置 （ ★ - x -)： 

C = A r c i; = a }i , 

相加 （ 乂 '! 十卜川 ％ x „ ) : 

C ^ A + B c tJ ^ a ;} f b t) , 

标量-矩阵相乘 （: i、x ，…一 w,KfJ ) : 

C aA ~^c i} - aa t j , 

和矩阵-矩阵相乘 （f 】，"）: 



这些运算是矩阵计算的基本运算. 

1*1.3 向 量记号 


表示 n 维实向量 空间： 

工 € ㈡: c = : ^ x t R . 

我们 记不为 X 的第/个元素.根据文中需要，我们有时也用[: T ], 
和 j ：( i ) 表 7 K 

注意到等于/ x 1 ，所以 P 中的元素是列向量.在另一方 
面， ； 1 Xn 中的元素是行 向量： 

Jo ^ .:'. lx,1 ㈡ _r =(』、，...，：!„)■ 

如果 i 是一个列向量，则 j = 是行向童. 

1.1.4 向量运算 

假定 ，工 和 jGK ' 基本向量运算包括标量-向量 
乘法： 

z = ajr ^ z, = aa'i , , 

向量 加法： 

之 = j + 3/ $ ■^二 丨十 jv ， 

点积（或称内 积）： 

f = X T y ， £' = 2 ， 

/-I 

向量相乘（或称 Hadamard 乘积）： 

2, = x ^ 二工汰 ‘ 

另一个非常重要的运算是 saxpy , 它具有修正 形式： 
y = ax + y y t = ojt ； + y s . 

这里，符号 “=” 用来表示陚值而不是数学上的等号.此运算修正向 
童 h 它的名称 saxpy 是在 LAPACK 中所用的 . LAPACK 是一个 




将本书中的 昨 多算法都丈现广的软件包 saxpy 是标量^乘、 r 加 
v ( scalar a .r plus v ) 的缩 ’ j . 

1.15 点积和 Saxpy 计算 

我们用 MATLAB 访古的形乂来描述算法， MArl . AB 足一种 
对矩阵计算作常理想的有效的交互系统.在这一章我们将逐步引 
人 MATLAB 的 U 号 / P 先我 们给出 _个汁算内积的算法. 

算法 1.1.1( 内积)给出 '此 算法计算内积 r - 

， v. ■ 

^ - 0 

for f - \ ' /I 

C = C \ X ( /' ) v( I ) 

end 

两个向量的内积涉及到^次乘法和^次加法，所以它足 OU ) 运 
总，即工作 M 是维数的线性阴数 . wxpy 也足 OU ) 运算， fn 它的返 
卜 I 俏是一个向量而不是标暈. 

算法 I . 1 . 2 (^ axpy ) 給定」 fr 和 ，此算法 用似' 
+ y 覆盖 jv . 

i'or i - I : n 

y(i) - cu'(l) \ y(i) 

end 

必须强调的是木书所给出的算法记关键的计览思想的框架而 
不是成品软件. 

1.1.6 矩阵-向霣乘法和 Gaxpy 

假定 n 和'我们需要计算 
v — A.r \- y. 

送是广义的 sfixpy ，称之为 gaxpy . 此计算的常规方式是毎次修十: 
一个分量，即 




yi ^ y] + # ， i = \ ■ m. 

这就是如下的箅法 / 1 

算法 1 • 1.3(Gaxpy : 行型）设 A x ' i 和 y Oi' 

本算法用 Ar + j 覆盖 

for i = 1 'i m 

for j ^ \ ： n 

y(0 = A(i,j)xU) + y(i) 
end 


end 

Ar 可表示为 4 的列向量的线性组合，如 


「1 T 


"1 x 7 + 2 X 8" 

3 4 

u = 

3 x 7 + 4 x 8 

Ls e\ 

^5 x 7 + 6 x ^ 


丁 


~T 


_ 23" 

3 

+ 8 

4 

= 

53 

^5- 


-6J 


-83 - 


这一计箅方式导致如下 算法： 

算法 1.1.4 (Gaxpy: 列型） i ^ A & fnX % x ^ R n ^ y ^ R 7n . 
本算法用 Ajc + jy 覆盖 y 

for j = \ ■ n 

for i = l ： m 

y(i) = A(/ ， J. )x(j ) + y( i) 
end 


end 

注意到这两个 Gaxpy 算法的内层循环都是 saxpy 运算.列型 
的算法是从向量层次重新理解矩阵与向暈相乘所导出的，它也可 
从行型算法简单地交换求和顺序而得到.在矩阵计算中，将求和顺 
序的交换与对应的线性代数联系起来是重要的. 



1.1.7 矩阵分划成行和列 

算法 hi 3和算法 1.1.4 是分別按行和按列用到 A 的数据 
为 r 更淸楚地说明这一点我们引进矩阵分划的概念 ■ 

从行来看，…个矩阵是由行向量堆成的： 

a e mx；! = : , ^ e ；- (i.i.i) 

这称之为 a 的行分划.所以，当我们行分划 

「1 2_ 

卜4 

b 6 - 

时，我们就把 A 看成是由行向量 

厂『= 「1 2] , r \ = [3 4]，和厂 ， f = [5 6」 

组成.利用行分划 （ 1 .1. t ) ，算法1 . 1 .3 可 表小成 

for i = \ ： m 

y 7 = r It + v ; 


end 

另一力面，矩阵也岳由列叫 U 组 成的： 

a e ，…㈡ a = e ' (1.1.2) 

我们把这称为 A 的列分划.在1.向的 3 X 2 的例子中， o 和 G 就 
分别是 A 的第--列 和第二列： 

■n 2 

q = |3 ， ^2 = |4 - 

Lsj ^6- 

利用 （1.1.2> ，我们看到箅法 1 M .4 是-个用到 A 的列向量的 


saxpy 


for j = 1 n 

y :工 /■，，+ y 



end 

在此 y 吋看成重复 saxpy 修正的连续求和. 

1.1.8 冒号记号 

表示矩阵的-行或…列的种简便方式是“胃号”记弓.如杲 
4 6//〃'则 AU ,:) 表小 A 的第々行，即 

A(k , ： ) = [ a kl ， ■- - , a ht J. 

第 々列 表示为 


A(' t k ) =: . 

Qjnk ■ 

有了这些记号，我们可将算法 1.1,3 和算法 U 1 .4 分别改写成 


和 


for f ~ 1 ： m 

y(0 = A(i ,；)x + y(j) 

end 

for j = \ ■ ?i 

y = jc(j)A (： fJ ) + y 

end 


利用胃号记号，我们可省略迭 f 戈细丨因而我们吋从向量层次来考 
虑以及把注意力集中在大的计算问题上. 


1.1.9 外积修正 

作为冒号记号的初步应用，我们用它来了解外积修正 

a = a + xv T , a e :' mX \ x e ， j € ' 

外积算由于是两个“细长”矩阵的乘积而“看上去滑稽”-但 
它是完全合法，因为左边矩阵 I 的列数与右边矩阵^的行数相 
等.例如 
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外枳修 m 的儿素"; r 表述为 

for i = \ ~ m 


for j ~ \ ■ n 


a /; - ci h - xy ; 

end 


end 

对 j 的循环足将 ，的倍 数加到 A 的第/行，即 

for i ~ n 

A ( /, ■■ ) = A (/’ ，： ) +- t ( i )y 1 

end 

另…方 面，如果我们把对 / 的 m 环換到里则适将 i 的倍数加 
到 A 的第 J 歹 h 

for J - \ ■ n 

■M ' ， J ) 二 A (: ,7 ) ^ y{j ).r 

end 


注竞这两个外积修正算法都由_组 wxpy 修正所组成. 

1-1.10 矩阵-矩阵相乘 

考虑2 x 2矩阼与矩阵相乘/+:内积形式下，每个元系⑴ 
由-点积 汁算： 


I 2] [5 61 「 1x5 4 2x7 1 x6-t 2 x81 
3 4」[7 8」 ^3 x 5 h 4 x 7 ：； / 6 + 4 x 8 」 


在 saxpy 形式下，乘枳的每列可右成是 A 的列之线性组合 


MG , 在外积形式下，矩阵相乘4看成 JS - 组外积 的和: 


「211 

8 l 4 JJ 


- 9 * 




这几神矩阵相乘的形式虽然在数学上等价，但由干内存通信的不 
同，在计算上的表现可能是 不同的 .这一点将在§ 1.4 中进一步讨 
论.现在，我们详细给出矩阵相乘的上述三神形式，这将有助于我 
们加深冒号记号的概念以及 七惯从 不同线性代数的层次上来思 
考. 


1.1.11 标置描述 

为讨论集中，我们考虑如下矩阵相乘的修正 公式： 

C ^ AB + C, A e n c，C e r/" Xn . 

首先是熟悉的三层循环 算法： 

算法 1.1.5( 矩阵乘 法：研 形式）给出 
和本算法用+ C 覆盖 C . 
for i = 1 ■■ m 

for j = 1 ■ « 

for k = \ ■ p 

C(ij) = A(i ,k)B(k ,j) I C( ^ ) 

end 

end 

end 

由丁我们把 C (以及 A ) 的行标为 / (以及 B ) 的列标为 
求和的下标记为所以这是-个说形式. 

我们考虑修正公式 C = + C 而不是 C = AB 有两个 理由： 

* 是不必去为 C = 0 的初始化 操心； 二是在实际中 C - AB f C 
现得更频繁. 

矩阵乘法中 H 个求和循环可任意排序 ，从而共冇 3! =6 种 
形式.所以， 
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for j - \ ■ n 

for k - i ^ p 




for f = 1 : 

= A(i ， k)B(k ， j) + C(i.j) 

end 


end 


end 

是此形式.选 6 种柯能性 ( tjk 7 jik , ikj ，的任何-个 
都对应一内层运算（点积或 sapy ) 而 ii 具有自己的数据流动模式. 
例如，在形式，内层运算是点积，数据用到的是 A 的行和 B 的 
列. 而在如形式下内层运算是 saxpy , 数据是 C 的列和_4的列. 
这些性质以及把中层与内层 连在- 起考虑是代表何种运算都归纳 
在表 1 . 1.1 中.每种形式的浮点运算次数都- 样 ，但对数 
据 的存取 却是不同的. 


表 1 . 1.1 矩阵乘 法：循 环排序及特性 


插 环顺屮 

内 M 循环 

中坛循环 

内层数据存萆 


点积 

I4S 乘矩阵 

\ 的行 . u 的列 

M 

点积 

矩阵乘向虽 

A 的行的列 

七 

糾 Xf>y 

行的 gaxpy 

| 

B 的行， C 的行 

jki 

sftxpy | 

I 州的 gaxpy 

4的列， C 的歹 J 


saxpy 1 

! 行的外枳 

K 的行，0的 O 

hi 

saxpy 1 

1 列的外积 

A 的列 T C 的列 


1.1.12 点积形式 

通常的矩阵乘法过程把 AB 视为用点积计算的数组，该数组 
可按从左到右，从 h 到 F 的次序逐个计算，这就是算法 1.1.5 所用 
到的思想.利用胃兮记号我们 " J 突出其点积 计算： 

算法 1.1.6( 矩阵乘法 ：点积 形式）给出 
和 ce^ x "，本算法用 AB + C 覆盖 C . 
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for / = 1 ： m 


For j 二 1 : 

CU,j) = A 。 . ，： )B (:, j) + c(z,j) 

end 


end 

利用矩阵分划语 S， 记 





和 

B =「乂，…，仏 ] ， bk G 


则算法 1 . 1.6 可 表小为 

for i - \ m 


for j = { ： n 

r ;> = a Jbj ! t- ?; 

end 


end 

注意到 j 循环的“任务”晃 U _ 算修 TT _ 公式的第 ； 行，为强调送 -点， 
我们可写成 

for /■二 1 : m 

- a\R + cj 


end 


这甩 


C 


是 C 的行分划，用冒号记号来表小这同 一运算 ，我们可写成 


for / ~ 1 ： n 

AG , :)B + C (/,：) 
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end 

尤论从唧种形式我们都看到孕形式的内部的两层循 环是迆 fir 
的 gaxpy 运算 ■ 

1.1.13 Saxpy 瑕式 

假定 A 和 C 的列分别为 

A = [" !，…，…」， a, G 
C = 「 n， … G ' 

比较 C = AB + C 两边第_/列可知 

0 T X b kj^k + Q j = 1 : 〃 

这些向量求和可通过一系列 saxpy 运算集中起来 . 

算法 1.1.7( 矩阵 乘法： saxpy 形式）给出 A €■ rt, x p , 
和 CG 本算法用 AiM c 覆盖 r . 

for j 二 I : n 

for k 二 \ ' p 

C (: ， j) = A( ： ,k)B(k.j) \ C( ： ,j) 


end 


end 

注意到 6 循环变质 f . 是一 gaxpy 适算： 
for j ~ 1 ： n 

C( 、 J) ; AH( ： J) + 

end 

1.1.14 外积形式 

考虑算法 \ A . 5 ^ kji 形式： 

for k - \ ： p 

for y = 1 :" 

for / = 1 ： m 

C(i^j) = A( i ,k)B(k f j) \ C( i f j) 
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end 


end 


end 

内部的两层循环是一个外积修正 

C = akbj ^ C 

其中七且 


飞 r 

^ -[…，…,％]和 B =: . 

_dl 

因而，我们得到 

算法 1.1.8 ( 矩阵乘法 ：外积 形式）給出 力^ R mXp t 
和'本算法用 AB + C 覆盖 C . 
for k = \ : p 

C = A( ： t k)B(k, ：) + C 

end 

这一实现方法是基于 AB 是户个外积之和. 


1.1.15 “ 级”的槪念 

点积和 saxpy 运算是“1级”运算的例子 .1 级运算涉及到的数 
据和运算量都是运算维数的线性函数. m x n 的外积修正和 gax - 
py 运算涉及到二次数据量 （ OUrt)) 和二次运算量 （ CKmn )). 它 
们是“2级”运算的例子. 

矩阵修正公式 AB + C 是“3级”运算 . 3级运算涉及到二 
次数据量和三次计算量，设 A 和 C 都是?! X „矩阵，则 c = 

+ C 需要 OU 2 ) 内存和 OU 3 ) 运算童. 

本书的一个反复出现的主题是设计具有髙“级”线性代数运算 
的矩阵算法，例如，一个高性能的线性方程组的算法可能需要把高 
斯消去法在3级上来组织■做到这一点在运算上要重新考虑，因为 
方法通常是用1级的方式给出的，例如，把第一行乘以一个常数 
• 14 * 




加到第 二行' 

1.1.16 矩阵方程 


为更好地通过外积来理解矩阵乘法，我们实际 建芘 了矩阵 

方程 

AB = ^ 2 a k bJ 

其中 w 和心是 （1.1.3) 中分划所定义的. 

任以后的章节中，大量的矩阵方程会出现.有时，它们会像卜 - 
面外积展开 样 是以算法形式建立；有时它们是在0元素这个层 
次 t 来证明的.作为后者的1个例 f , 我们证明乘积转置的性质这 
一重要结果. 

定理 1.1.1 设 和 BGii px % 则 

证明令■呀) T ， 则 

q = [( AJJ) T ] y = [ AB ]^ = a ^ j kl . 

i-t 

另 方面 ，设/ >; iJ T A T , 则 

d i} = [B T A T ] rj = 丈 [B T ] rt [A T ]~ = ^b k ^. 

i-i i-i 

由于对所有 i 和 j 都有 4 = 4 ,故知 C = D n 

像上面这样的基干标量的证明常常没有启发性，但冇时却是 


惟一的方式. 

1.1.17 复矩阵 

有时我们耍讨论复矩阵的计算， m X „ 复矩阵的向量空间记 
为'复矩阵的标乘，相加，相乘是与实矩阵完全相对应的 .m 
是，转置在复情形下是转置 共轭： 

C = A H ^c, = a ; ,. 

«维复向量的向量空间记为、?维向簞 _ r 和^的点积是 

i - ： t H 夕 = i 
! = 1 
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最后，假定 4 = B + ''则 我们把4的灰部和虚部分别记 

为 Re ( A ) = B 和 lm ( A )- C . 

习 题 

1.1.1 假定 Ae 和 -rl 、绐出 -- 个 i 卜筲 , Vf-(A -. r , i)"'(A - 
rj ) 第_ _列的 saxpy 算法 

1.1.2 在常规的 2 乘 2 矩阵相乘 r=Aii 屮右 S 个 乘法： 

« 11^11 > '^21 ^ 7 J2 »* 12^21 12^22 ' a 12^72- 

对讲 ,jik t kij t ikj Jkl 及如矩阵乘法形式列表给出这夢乘法的顺序 . 

1.K3 给出一个计 W (W 的算法 . 其中 r ^(.y >t ； j 维向砑， 

1.1.4 描述 一 个求（ XV 1 )*■ 的算法，其中 X ，…」 

1.1. 5 给出一个外枳形式的算法修正 C 二 AJ# 1 ■+ C, 其中 

e … %ce. ™ Vfl , 

1.1.6 假定 C , D , E 和 F 足给定的《>； „实妒厂. i 正明只 耑计算二次 
实的 wx „矩阵乘法就可求出4和 B , 使得 U .t iB)_-(CM iD )( t ^ lF )_ 提 
不：计算 V ^-( C + D )( E - F ). 

本节注释与参考文献 

必须强调的足从我们的 ‘_ 半正 式 ” 的算法描述到发展商水 f 的软忡仍需很大的努 
力 . 就连〗， 2 和 3 级的 BLAS 的实现也要彳故精细的 T. 作： 

C, L. Lfiwaon , R. J- Hansort, ,] >. H. Kintaid f and F- 1'. Kr<igK( 1979 ) . Lmear AJgcbffi 

SubpruRram^ for FORTRAN U 璋 /’ACM Tran,. Math . Soft - 5 ,308—n 
C. L. Lawson, R. J. Hanson,D R Kincaid,and F. T Krfjgli{ 1974 ) r ''Algorithm 539, Ra^io 
Linear AlgC'brji Subpingrairis for FORTRAN Usage/" ACM 1> 训、 Muth ■ Sn/jf ■ 5 ， 
324—325. 

J J.Dongarra^J.TXj Crcv 7 S，Hamrnarling f and R. J. Hanlon (1 9SH ). “Axi Extended Set of 
Fortran Basic Linear Algebra Subprcsgrarrii, .ACM Trans 、 Math . Soft 14 ,1 — :7. 

J. J. ]imgarra T J-Ehi Ciw s S. Hmnm;irlirig,ynd R, J . Hansan{ 19S8) r ^AlganEhm 656 An Kx- 
tended Set uf Fortran Basic Linear Algebra Subprograms : Model Implemeruation Test 
Pn^ranna, ” ACM Tram Math . Sop .14,1 S-^32 
■1 ■ J■ Dongarra 5 J. Du Oua ， I■ S. F>uf{ t arid S ,M ImmntijiiTig (199Q), "A Set of Levtl 3 l^&ic 
Linear Algebra Subprograms + ’’ACM Trans ^ Math . Soft ， 16 t l —17 

■ 16 ^ 




J. J.rbngamJ，TXi Croz, I. S. Duff T and S. J. Himinar1i：igU . "Al^orithn {，79 - A Sei of 
Level 3 liaaic Linear Algebra Sabprograirii ： Mrxlcl Implemffnltition and Test Prc>grarns, 
ACM Tr 屬 Math . Snft ■ M ， 18—2«. 

K 他关亍 E 5 LAS 的文献包挤 ： 

B. Kagil^i T P. Unhand C. Van 1^0^(1991) "High-PcrfomiaiK^ I^vet-3 BLAS ： Sample 
Routines for ] >nuble PieciiioT^ Rt'W I)ata，’’in Hi^h F^for/nance Cor^tpuiifig II ， M- Vb- 
rand ^nd F. El Dal^hi ( cds}, North - Holland. 269—281. 

H, KagHtromtP. Lin^.ftnc C, Van (1995). i- UEMM-Rf.sfd Level-3 BL,V5: Hs^h-^Lr- 
forrnance Model Jmple:neT^tatiot^ and Perfurnancr Kvalu^ilion Bt-nchniark^ "in ParalU j f 
Progranunh 哫 and Applications . Frirznn anti L Fiumo( rcls) t ISO Press. 184 — IKK, 
关于软件设计技巧的论述找们推桴 

J.H. Kicc( 1981 ). Main / {hnipidu^on^ 训 d MatherK^i . Ac.idemic Prt^s, 

New York 

和参阅 LAPACK 手册 . 


§1.2 利用结构 

一个给定矩阵算法的效率是和许多东西相关的.最明显的，也 
是本章我们要考虑的是运算量和存储量.我们继续用矩阵乘向量 
和矩阵与矩阵相乘为工具来导人主要的思想.作为利用结构的例 
子，我们挑选了带状和对称性.带状矩阵有 il 多零元素，因而在带 
状矩阵计算中可省去许多运算量和存储 ft , 这是不足为奇的-下囟 
将讨论此类矩阵计算的运算复杂度和数据结构. 

对称矩阵提供了利用结构的另一类例子.对称线性方程组以 
及对称特征值问题在矩阵计算中起显著作用，所以熟悉:它们的技 
巧是重要的. 

1.2.1 带状矩阵和 X -0 记号 

如果％ = 0对任何 i>j + 户成立，我们就设 Aep x?i 具有 
下带宽 h 如果％=0对任何_;>: +<7成立，则称 A 具省 k 带宽 
q . 下面是一个具有下带宽1和上带宽2的8 x 5 矩阵： 
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X 

X 

X 

0 

0~ 

X 

X 

X 

X 

0 

0 

X 

X 

X 

X 

0 

0 

X 

X 

X 

0 

0 

0 

X 

X 

0 

0 

0 

0 

X 

0 

0 

0 

0 

0 

0 

a 

0 

0 

0- 


“ X ”表示任意非零元素.这个记号可很方便表示矩阵的非零结构， 
我们会大量的用到.常见的带状矩阵在表 1.2.1 中列出. 


表 1.2.1 rttXit 矩晬带矩阵术语 


矩阵类型 

y 带宽 

上带宽 

对角阵 

0 

0 

上三角阵 

0 

71-1 

下三角阵 

m -1 

0 

三对角阵 

1 

1 

上双对角阵 

0 

1 

下双对角阵 

1 : 

0 

上 Hesemberg 阵 

1 

n-1 

下 Hessenberg 阵 

m ~ 1 

I 


1.2*2 对角阵 


上下带宽都为零的矩阵是对角阵.设"是对角阵，则 

1> = diagC^i q = min \m,n\ ^di = d“. 

设 D 是对角阵， 4 是一般矩阵，则 JM 是4的行加权， AU 是 A 
的列加权. 
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1.2,3 三角阵 


为引进带状矩阵“思维”.我们考'虑矩阵相乘问题 C = 其 
中4和 B 都是」.:二角阵 .3 X 3 的情形可表示为 

ail 办 u 十 a 12&22 ^11^13 + ^12^23 + ^13^33 

C : o (122^22 a l2^23 + ^23^33 . 

_ 0 0 «33^33 j 

从上可知，乘积矩阵是上三角，而且在上二角的元素是简化了的内 
积.事实上，对仟何/或都有 a #~=0, 我们可看到 


乙 ' tj = - 

k 二 i 

于是我们得到 

算法 1.11(二 角阵乘法）给出”上 三甭阵 ，本算 
法计算 C = AB 
C -= 0 


for i = 1 ： n 

for j == i : n 

for k - i ■ j 

C(i ， j ) 二 A(i,k)B(kj) + C(i ， j) 

end 

end 


end 

为说明这个算法的节省性，我们需要一些度量计算量的工具. 


1.2.4 Flops 

很显然，上三角阵乘法比起满矩阵相乘所需要的计算量要小. 
说明这一点的方式之一是通过 flop 记号了 一个 flop 就是一个浮点 
运算.长度为《的内积或 sa xpy 需要 2 n 个 fbp , 因为它们都需要 
n 次乘法和 w 次加法. 

对： T A n t gaxpy 运算 _y = Ar + y 和外积修正 A + 
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J v J 都需要 2 mn 个 flop . 

对于 ' 々“和 C 6 矩阵乘法修 E C = 
AB + C 需要 Imnp 今 flop - 

flop 数通常可通过将算法最内层循环的运算数相加而得到， 
举矩阵乘法为例，最内层语句是 

(“ J ) :二 / U /， 々沾 0， J ) 十 c ( ij ), 

它有2个 flop . 通过简单的循环计数知此语句要执行 rnnp 次，所 
以一般矩阵相乘需要 2 mnp 个 flop , 

现在，我们研究算法 1 , 2.1 的运算量.注意到需要 
20 - z + 1 ) 个 flop . 利用直观公式 

、％ 一 〜 2 
3 _ 2 〜2 

和 

^i P — 3 [ 2 + 6〜3 - 

我们发现三角矩阵乘法约需满矩阵乘法的 fbp 数的六分之 - : 

S^20-, + l)= S U 2 j 

E 二 ]J = / H -1 ；= I J=--l ^ 

f=i ^ 

我们舍去了低阶项，因为它们对 fl 叩数影 响甚微.例如，通过精确 
的浮点运算数统计可发现算法1.2.1耑¥ + « 2 + _个 flap . ^ n 

很大时（这是通常感兴趣的情形），我们看到，精确的 flop 数与^ 
近似估计相比多出的两项没有实质的意义. 

用 fbp 数来衡量程序的效率必然是粗糙的，因为它忽略了下 
标，内存通信，也没考虑其它执行程序的负荷.我们不能过分依赖 
于 flop 数的比较，例如，我们不能断定二角矩阵相乘要比方矩阵相 
乘快6倍 . fbp 数只是一个“快而不正当”的评价方法，它仅注意到 
影响效率的多个因素之一. 
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1.2.5 再论冒号记号 


如果我们把 1 . 1 . 8 节⑴人的 g 号汜号推广，则算法 j - 2 . 1 中 
k 循环的内积 4 简洁地叙述 . 假设 AG 铬数 p ， q 和 r 满足 
1 fy < 和 1 我们定义 

A(r t p : ([) -[〜-…〜 J C 1 …’ 川，、 

同样地，如果 1 pq -C 1 1 , K!l 

A(p : q ， c) 二 ； G 

a tj •- 

利用这个记算法 1.2.1 可写成 
C ( 1 - ?? , 1 : n ) — 0 
for / ; 1 : m 

for j - i ■ n 

c{; ， J) — /\U，2 : })H{i ■. Jj) + c(ij) 

end 


end 

我们给出拜 G 记兮 的另个 性质，就是允许下标负增 LC . 所 
以，如果 i 和是 H 维向量，则 ■、-二工 1 y ( r ! ■■ - I ■■ I ) 代表求和 

r? 

>■ = hy” … t ■ 

，- 3 


1.2.6 带状矩阵存储 

假定有下带宽々和上带宽 y 和7远小于1 
这样的矩阵可按下而方式储存在十 7 + 1) < "数组 A . hand . 即 
对所有位于带苋之内的 Gd): 

a ZJ — A. bancJ( / - / + ^ + 1 , j ). (1.2.1) 

所以，如果 
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A 



a 12 

a i3 

a 

0 

0 _ 

^21 

a 22 

a 23 

a 24 

0 

0 

0 

a 32 

a 33 

a 34 

^35 

0 

0 

0 

a 43 

“44 

a 45 

a 46 

0 

0 - 

0 

a 54 

a 55 

a 56 

„0 

0 

0 

0 

^65 

^66_ 


则 


" 0 

0 

dl3 

a 24 

a 35 

a 46 

0 

a i2 

a 23 

<^34 

a 45 

^56 

an 

a 22 

a 33 

^44 

^55 

a G6 

^21 

a 32 

a 43 

^54 

a 65 

(K 


A . band 


这里， “0” 元素是用不着的.利用这种数据结构.我们基于列的 
gaxpy 可能化成如下 彤式： 

算法1.2.2(带矩阵0狀0>0设”具有下带宽 p 和上 
带宽 g 且储存在 A . band (1.2. 1节），如果 x ， yeR ，则本算法用 
Ax + y 覆盖 3 ? . 
for j = 1 ■ n 

ytap = max(l f j - q) 

3 ^bot ~ min {« + p ) 

7) 




^bot — + ybot ~~ JVtcp 

y(y^ : ybot) = ^rO)A. bandfa^ : a^J) + yiy^ - y^) 

end 

注意到把 A 按列储存于 A . band , 我们得到一个基于列的 saxpy 程 
序.事实上，算法 12.2 是从算法 1.1.4 中把每个 saxpy 涉及到的 
向童换成非零的短向童而得到的.整数计算是用于确定非零元素 
的位置.由于细致地进行了零元素及非零元素分析，此算 法在声 
和 g 远小于? x 的假定下仅需 2 n(p + q + 1 flop . 
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1.2.7 对称性 


如果 A = 4 ' 我们说 A S ' n x 是对称的-所以， 
p 2 3' 

A = \2 4 5 

U 5 6 - 

是对称的.如果我们仅储存下二角的元素，则存储量可减少一半， 
如八^江=[1，2,3, 4 .5,6：1.在-般情况，根据此约定，我们把％按 
如下方式储存 

a i} = A . vec (() - 1 ) w - j(j -1)/2+/) ( ； j)- 

( 1 . 2 . 2 ) 

让我们看矩阵 A 储存在 A . vec 的基于列的 gapy 运算 ■ 

算法 1.2.3( 对称储存 Gaxpy) 设 A " 对称，储存于 A. 

vec ( 见 （ 1.2.2)) ， ueP ， 本算法用 Ar + y 覆盖 J 
for j = I '■ n 

for ? = 1 ： j - 1 

y(i) - A. vec( G - l)rt - ?■(/ 一 \ ) /2 + j)jr(j) + y( i ) 

end 

for i - j '■ n 

y{i) = A.vec{(j - i)n ~ j{j ~ 1)/2 + i)jo(j) + y(i) 

end 

end 

此算法与常规的 gaxpy 样需要 2 一个 fbp . 值得注意的是减少 
一半存储换来了很别扭的下标- 

1.2.8 按对角储存 


对称矩阵也可按对角储存.对丁 

「1 2 $ 




按对角储存则把 4 存 j - 向量 

A. diag = l! 4 6 2 5 3]. 

仵一般情形，对/>/，有 

^ k, ; = A. diag( i + tik - k(k - ]) /2) (DO). (1.2.3) 

为使在矩阵乘向量屮如何运用这- 数 据结构的讨 i 仑简单化，我们 
需引人如下 U 号. 

设'用表示 A 的第左条对 角线： 

[ DU ，川卜 ， i 

J lo , 否则. 

这样 



3 _ 

1° 

0 

3 


T) 

2 

()1 

5 

= !o 

0 

0 

+ 

0 

0 

5! 

6 」 

U) 

0 

0 」 


0 

0 

()1 


DiA,2) ShTjJ 


_ 1 

0 0" 

0 

0 

01 

0 

0 

0 I 

0 

4 0 


2 

0 

0 I 

+ 0 

0 

0 

J) 

0 6 

i 

UJ 

5 

o」 

L3 

0 

0」 


P<.A,-2) 

冋到我们按对角储存的数据结构，找们看到 DU ，0)， D ( A ，1), 
…， DU ，” - 丨）的非芩部分是依次存于 A . diag 里（〗. 2. 3) .于是 
gaxpy 运算 j = Ar + v 可组织成 


') = D(A ,0) + 2 (D(A ^ ) -+ DiA^kyjjc + y. 

将上述公式的细节整理即得到如下算法. 

算法 1.2. 4 (按对角储存的 Gaxpy ) 设 A 6 A nX "对称，储存 
于八.忒呢(见（1.2-3)),1;3^(卜，本算法用 Ar + ) 覆盖夕 
for 1 = \ : n 


y(i) = A. diag( i)x(i) + y(i) 

end 


for k = ): n - \ 

t nk - k(k - 1)/2 
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■I.V - 

- n(A t k)：, ■<- v ： 


for 

i — \ ' n — k 



y(i) = A.di?tg (/ i t 

._U(i “0 + yii) 

end 


\ y - D{A J:) *r * y 

1 

l 

for 

i 二 i 、 n - k 



y ( i + k) = A. difig( i 

y l)r( i) 1 y(i \ , 

end 

end 

汴意在内 S 循环足向量 相乘： 


y(l : 

n k ) - A. idiag( / + 1 

: " " k ) 


.* .r(k \ 1 ' 

n 、 v( 丨 ：，？ k ) 

y(k + 

l : " ) — A. diag( t 1 

: / 叶 n — k 、 


- 女 .r (l : ti - 

-k) ■ y{k 1 l '■ n) 


1,2.9 覆盖和工作空间 

卜_述讨沦末涉及疗储的经济使川.覆盖阶来数据足抟制矩阵 
计算听需内存的刃方法.考虑 "x „矩阵相乘 M 题 C = Atf ，假 
定“输人矩阵” B 将被“输出矩阵” C 所覆盖.我们4、能簡单地将 
C(1 : r( , 1 : rt ) — 0 
for j ~ \ ■ ?i 

for k — \ n 

end 

end 

改成 

for ) = 1:" 

far 々二 1 : « 

B(^j) - H (: w) + A( ： .,k)H(k,j) 


end 
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end 


这是因为 B 在整个 f 循环中都要用到.需要一个线性的“工 
作空间”来暂存乘积的第列直到可以“安全”地覆盖 
for j - i '■ n 

w(l ■ «) 0 

for k = i ■ n 

: ) = m( ： ) + A (： ,k)B(k ,j) 

end 

B( ： J) = ^(：) 

end 

一个线性工作空间负担在同阶的 2 维数据的矩阵计算常常是无足 
轻重的. 


习 题 

1.2.1 给出一个将 A 2 覆盖 A 的算法，其中”是 U) 上三 角阵; 
以及 （6) 方阵.在两种情形下都尽可能少地用工作空间. 

1.2,2 假定是上 Hessenbers 阵以及 A， …，是给定的标量 . 
请给出计算 (A ~ X \ I)"'(A — Af/) 第一列的 saxpy 算法. 

1.2.3 给出一个列 saxpy 算法计算》 x M 矩阵乘积(：= AB， 其中 A 是 
上三角， B 是下三角. 

1.2.4 把算法 1.2.2 推广到长方形的带状矩阵.注意对数据结构的描 
述， 

1-2.5 如果 >4 H = A ， 则称 是 Hemiite 阵.设 A = B 4 iC ， 则知 

^ l = fl , C T = - C ■假定我们用 A 化加。 j ) 储存〜 （如果,_>))和 Q (如果 
的方式把4表示在数组 A . herni 中.利用这一数据结构写出矩阵乘向 
量的算法从 JRe ( jr ) 和计算 Re (: T ) 和 lm ( z ) 满足 z = Ajc . 

12 6设对称且按对角方式储存.给出计算 
y = X T AX 并将结果仍按对角储存的算法.用不 M 的数组储存 A 和 Y . 

1.2.7 设给定且满足％ =…卜/^给出一个算法用 
A ^ + y 覆盖; y , 其中是任给向量1 

12.8 设给定且满足％ =叫, + ,_ n 给出一个 
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算法用 Ar + ： y 覆盖： v ，其中 .uG n 是任给向最. 

12 9发展〜个紧凑的将非对称带状矩阵按对角储存 方法且 给出所 
对应的 gaxpy 辉法， 

1 - 2. 10设 /?和 f / 是《 维向茕，4二 （ a ") 由 a n = a,； - p,q t ( 

所定义.对给定的: r 6, : n ,计算 _v = Ar 谣要多少个 flop ? 


本节注释与参考文献 


关于对称以及带状阵数据结构的讨论可叁阅 LAPA (' K 手册.也可 参考： 
N.Modseri^G. Roderigue ^ and J . Karush (1976}. w Matrix multiplieatioTi by Dia^inals on a 
Vector Parallel Processor, Hh Itifoirri^tion Processing Loiters 5,41 — 45. 

§1.3 块矩阵和算法 


采用分块矩阵记号这-工具在矩阵计算中是很重要的，因为 
它可简化许多核心算法的导出.而且/‘分块算法”在高性能计算中 
愈来愈重要.分块算法实质上是指大量用到矩阵乘矩阵的算法，在 
许多计算环境下，这类算法比 基丁低 层线性代数的算法要有效的 
多. 

1.3.1 块矩阵记号 

行分划和列分划是矩阵分块的特殊情形.在一般情况.我们对 
矩阵 A 的行和列进行分划，得到 

A u … A lf :] m x 

A = : : 

Aq\ … 〜 

n r 

其中 m L + … + + … + n ，以及 A 咕表示 （ a ， j 3) 块矩阵， 

也称为子矩阵.利用此记号，块矩阵 A # 是 & X % 矩阵.我们称 A 
- ( 是 一 q 乂 r 分块矩阵. 

1,3.2 分块矩阵 

只要某些维数条件满足的话，分块矩阵的组成就和具有榇量 
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元索的普通矩阵完全■样.例如，设 

乃 II …衫! 


我们就说 B 的分块是与[.面的匹配的' 和矩阵 C = A 十 B 也 
可看成是 gx r 分块 矩阵： 

[^11 ■" rA (l f B n … A, r + B [r ~ 

C= I : :卜； * * 

… Cy - ,_ A ^] + + i ^ r 」 

分块矩阵的乘法稍微复杂.我们先给出两个引理. 

引理 1.3.1 设 AG rr < yp , B ^ 


B = [B 卜…’札] 


其中= AgB^ia — l ： r ). 

_ 证明首先我们比较中的元素与 C 中元桌的关系.对 
和 我们冇 

[ 1 ij _ C ; - t-j I } t 


(义+/，"十7 — 2^j a ^-i * ^k, 




. 2 S » 




故知， r<-. 

引理 1.3.2 设 Ae … 々，广 


4 - : .4 丨 . A '」， 


li , Pi 

B. IK 


则 


AB r = \ /\,H,. 

■ I 

证明我们令 .、 = 2 几 M . 把一般 .、， 留给读 苒上汜 （ 此题 
1.3」 6) .对和: K :: 广:;"，我们打 

_， . i . ^ fj. 


c , = + 

^ i i . i 


a ，!.Ph 


— [/\[H| ' A j 1^2^ a ~ I ^ ^ 1 + 

故知， C = 仏 I A ： H 2 . 

对 r - -般分块矩阼的相乘 f 我们钉如 r 结& 

定理 1.3.3 如果 



1山[… 

A[、| 

川 i 

A =- 

i A r .| … 

: ! 

” K: 


P\ 

/>、 



i^u … 

〜 1 

P\ 

B 二 

! : 

： H,, - 


P ， 


"1 



\& 按如下方式 分块： 




C u 

川 1 

C 

〜 … 

(V — 

…' r 






则 


29 





= XI A 』 巾， cr = l ： q.^ = 1 ： r. 

r- 1 

证明见习题 1,3.7. 0 

如果令^7=2^二2/=1和心 =1 T 则得到一个很重要的特殊 
情形： 


「 Ai 】 a [2 1 r 1 r^u-^i + ^12^21 

La 21 A 22 -I Lr 2 -I l - y \ 2l：l：1 + A 2 2^2 ^ 

这个分块的矩阵乘向量将在以后的章节中反复用到. 


1.3.3 子矩阵记号 


如同“普通”矩阵一样，分块矩阵乘法能用不同方式来组织.我 
们需要引进一些记号来准确地刻画这些计算. 

设 Ae， x %R /^和 7 = (), ，…，人）是整数向量 

满足 

/ I，… “r 6 I 1，2 ，…， w t 

) I ，…， _7 r 6 | 1，2’ …，《 丨 . 

我们用 A ( i ,)) 表示/子矩阵 

Adi . ji ) … 

A ( iJ ) - : : . 

A(i r , Jv ) … 

如果下标向 量/和 j 中的元素是依序的，则可把 A 中的标量 
元素用“冒号”记号来定义 A(u ). 特别地，设和 
"，则 AUVi 2 ，力： 2 )是把第行到第~行和第 n 
列到第_? 2 列取出来，例如 


A {3 : 5,1 ： 2) = 


a 3l 

a 32 

I 

^41 

«42 j 

-«5J 

a 52 J 


关 f 子矩阵，从 1.1.8 节知当/和是标量时， A ( i ,:) 表示 A 的 
第 i 行 , A (:， _；) 表示4的第』_列. 
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1.34 分块矩阵乘向量 


定珅. 1.3.3 包括 r - 个诳 畏的情形就足分块矩阵乘以向量. 
我们考虑 gaxpy 运算= A _ r 卜 iV 的 i 羊细过秤， K 中4 6 …， 
-re ,Ji R, 

A !. 川 i V} ! m I 

A -- ; I \ f = i ! 

川 q 

我们称 A , 为第 / 个块行.设 m . ，…，％)是块行之 1 ‘高 

度”的向敁，则从 

「V 'A/ 1 「VI 

\ | ‘| | 
i 1 — I I ^ ^ I * 

L)V」 L 〜- L'_ 

我们得到 

last — 0 
for / — I ： q 

firsi - last + 1 
last = first + m. vcc( i) .. 1 
(fist: laist ) — A (first : last, ■■ )j 4 - v(first : iasr ) 


每次循环中算法执行的记一个“普 ilT 的 gaxpy ， 可用算故 1.1.3 
或者算法1， 1.4 计筲， 

另一种将 gax P > 汁算分块的方式是将 A 和/ 以如下方式分 
划： 


A = [ A ^ 


A f j , 




L - r r J 


»l 


送时，我们称 A 是的第 J 个坎列.设 《 . \ TC = ( 〃 i ，… ，7^) 是块 
列之宽度的向量，则从 
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y = [ A ! ，…， ,4，' ; . ” = 2 A r^j + J 

, r r i 厂， 

得到 

last = 0 
for 二 1 : r 

first == last t- 1 

last 二 first + n . vcc(j ) - 1 

y = : Jirst : (last).r(first : Wt) + y 

end 

同样地，循环中的每次汁算 gaxpy 可利用算法〗. 1.3 或者算法 

1.1.4, 

1 3.5 分块矩阵乘法 

和普通的以标 I 〖为元柰的矩阵乘法 '样，分块矩阵乘法也可 
写成不同形式 + A ， B 和 C 的不同分块方式可为导出§ 1.] 中的内 
积， saxpy 以及外积型算法之分块形式提供条件，为了只用尽可能 
少的下标来说明这一点，我们假定这三个矩阵都是 nXn 矩阵且 
n = Ni t N 和/ 都足』 E 整数. 

设 A 二 = 和0^((7#)都品/父/块的」\\~ 
分块矩阵，从定理 1.3.3 可知 

y 

c 邓： U 疋馬 + C 4i ,a : I : N ， /? = 1 : N. 

f - I 

如果我们按这一求和公式组织矩阵乘法则得到算法 1. 〗，5的分块 
形式 

for a = \ : N 

i - (« - 1) / + 1 ： cr/ 

for = I : jV 

j - i)m i ： ^ - 

for r 二 U 
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右 =(，一1)/ 十 1 : r / 


end 


end 


注意到在 / = 1 时有 a 三 i ， 和 r 则冋到算法1 ■ 1，5， 

要得到一个分块的 saxpy 矩阵乘法，我们把 C = AJf + C 写成 

[(■: 1 ， … ， = L^l 1 


「 B U … 

Blv] 



: ^ LC| 


... 


其屮八 .c a e 1 


.从而可得到 

for (3 



j 二（卢 _ 

卜 1 : 渾 

for a = l : 

N 


l ~ (a 

- \)1 + 1 ： al 


C(^j) 

= A( - f i)B(i ,j) + 1 


end 

end 

此算法是算法 1. 1.7 的分块形式 ■ 

分块的外积乘法可由卜 _ 而分划来 导出： 

A 「 A ] ， . ■‘， A」、i "L B = 

其中 A r . B r e 、从引理 1.3.2 可知 

■V 

C = X A f .Bl 十 C ， 


「耐 

lBl \ 


故得到 


for r = 1 ： ；V 
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k = (r - \ )i t 1 : rl 

C ~-= A (： f k ) B ( k t ：) + C 

end 

这就是算法 1 . 1.8 的分抉形式. 

13.6 复矩阵乘法 
考虑复矩阵 乘法： 

(C 】 十 IC 2 ) = (Ai iA 2 )(B l + iU 2 ) + (C t + iC 2 )， 
其中所有的矩阵都是实的， i 2 = 比较实部和虚部就得到’ 

Ci = - A 2 B 2 + Ci , 

Cz ^ AjB 2 + + C 2 , 

也可表示成矩阵形式 

这表明可以用实矩阵软件来求解复矩阵问题.惟…不足的是在矩 
阵 

L A 2 A 1 J 

中需要将矩阵和储存两次， 

1.3.7 "分而治之”矩阵乘法 

我们以讨论矩阵乘法完全不同的方式来结束本节.首先讨论 
2 X 2 块矩阵的乘法： 

C [2 1 ^ f A n A 12 1 f B n 1 

C21 ^'22 ^-^2] A22 -* I - B?i B22 ^ 

其中每块都是方阵.在普通算法中 ，+ A i 2 B 2J . 一共有 
8个乘法和4个加法 . Stra «« e n (1969) 证明仅用7次乘法和18次加 
减法可计算 C . 

Pi = (An + A2z)(fiu + B n ) ， 
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^2 = (^21 + ^22)^11 > 

尸 3 = A 11 (召 12 _ 氏 2 )， 

^4 = ^ 22(^21 ~ 石 II )， 

J^5 - (^n + ^ 12) 召 22, 

n 二 (A 2 i -A n )(B n 4 Bn). 

Pi = (^12 — A22 )(^21 + B22 ) ， 

(;11 = P 1 + P 4 - f*5 + 巧， 

^12=^3 + ^5? 

c 2 】 =P 2 + 尸 4 ， 

C 2 2 — ^ P3 - Pz + 

直接替换即可址明这些公式.假定 2 m , 则每块都是 m 乂 m 、 
计算标准的矩阵乘法的加法和乘法次数可得到 （2 m ) 3 次乘法和 
(2m ) 3 - (2m) 2 次加减法.而假设 Strassen 方法在分块阵乘法中 
用普通方法则需要 7 m 3 次乘法和 7 m 3 + 11 m 2 次加 减法. 如果 m 
»1 ， 则 Stassen 方法所需运算量是传统方法的 7/8. 

可以看出， Straasen 思想能递归应用.特别地，我们可在求每 
个 A 的一半维数的块矩阵乘法中用 Stmseri 算法.所以，当 A 和 
B 都是 《 X „ 矩阵且 w =2*? 时，我们可重复应用 Strassen 算法.在 
最底层，块的大小是 IX〗. 当然，也没必要 1 直递推到当块 
的维数足够小时，计算巧就可用常规的矩阵乘法.下面 
是一个完整的 算法： 

算法 1. 3. 1 ( Strassen 乘法）设4 6 !; w?< ”和 
Be nXn .如果则本算法递妇应用 Strassen 技 
巧 q — d 次计算 C = AB . 

functkifi C = straKK(y\, B ， ” ， M^) 

if n < 

C ^ AH 

m = n/2;u = 1 : 所 ；1 = 州十 1:?7; 


else 
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- KtKLss( A(u , u) + A(v 7 v) ,B(u, u) + B( v ,r)), m , « mn ) 
P 2 = strasti(A(z 、 !j) + A(v “!） t m，?!_) 

= str 挪 ( A(u ,u),B{u,a) - H(v ， vhw, >i nm ) 

P4 = straff /U m), B( u ， w ) - B(u ， u) ， m ， n mu ) 

"5 _ slrsLSH( A (ti ,u) + A( u , v) f B( -v, v), m , n NJUl ) 
i \ - smiss(A (v ， u) A(u,u) t H(u,u) ^ m) ， w ， ” mn ) 
厂 7 二 sIicLsh(A (u t v) A(v ,v) ,H(v, u) t B (v,v), in , n r ,\ n ) 
C{u,u) = J\ + P 4 - P s + P 7 
c( u ,v) - r, t p, 

C(v f u) - P 2 + P4 
C(v,v) - F, i P, -P 2 + 
end 

与我们以前所介绍的算法不同， “ st mss ” 足递归的，它在程序 
中调用自身.“分而治之”类型的算法常常叙述成这种形式，我们 
把这个算法写成 MATLAB 函数从而递归调用町精确地写出. 

stras & 算法的运算量是关于《和 w fI ] in 的复杂 函数. 由于加减法 
的次数与乘法大体相同，我们只耑 i |- 算乘法次数.而统计乘法运算 
次数只需分析递归的最深层，因为只冇在此层才有乘法运算. 

要重复调用 q ~ d 次，故耑要个常规的矩阵乘法.而这 
些乘法中矩阵的维数是 《 mtn .故所盅乘法次数为 s 二 • 
而常规的矩阵乘法中乘法运算次数为 r 二 （2”' 注意到 



如果 c/ = 0, 也即我们递归到 1X1 块，则 

X =(吾)= 7" =" ㈣ 7 ^ 挪 

所以，在渐近意义上， stasse 方法的乘法次数是 OU 2 " 07 ). 但足， 
当 ",, un 很小时，加减法的次数 （4 乘法次数相比）将会是很大， 

例1. 3 .1如果 " = 1024 和 《 1Iiin = 64 则 stms 咒算法需要常 


- 36 - 





规方法的 （ 7/8) in 6 =M).6 倍运算量， 


习 题 


13 1推广 a 3. _3)使其能处理分划是定理1.3,3所给出的情形， 

13 2推广（1.3.4)兩1(1,3.5)使之能处理不问的维数的分块. 

1 3.3 修改 straw 使之可应用仟何维数的方矩阵乘法.提矛：如果“当 
約”的 A 是奇数维，则加一个零 行和零 列， 

1,3.4 如果 


是 A 的分块，证明 



13-5 设《是偶玫，定义从"到的函数 


/(^) = X 。： 2 : tt) T r{2 ■' 2 -- n) : yjx 2; -i^2,. 

r 1 

( a ) i ! E 明对仟何 uG " 有 

N ^2 

/y = i f y 2 /)(^ 2 1 + 力 H-i) — j ( 工 )- f(y) - 

: I 

( b ) 考虑 " 矩阵相乘 r - AB , 给出一个通过将 / 应用到 A 的行以及 
B 的列的计算乘积(：」= AM 的耑要« 3 /2次乘法的算法.详细讨论可见 Wino - 
grad ( 1968 ). 

13 6对一般 4 证明引理 1. 32提 示：令 化勺〕， 

pr = Pi + ■■- < p r -l ， r = 1 ： ,v + I 

和证明 


c u = a 血， 

r- \ k- 

1 3,7 利用引理 1,3.2 和 L 3.2 证明定理 1.3.3 .特别地，取 

「1] 


A r = 
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和从引理 1.3.2 知 


c = 

r- 1 

借助于引理 1.3.1 分析每一个 AJi r . 

本节注释与参考文献 

很长时间以来，矩阵乘法的快速算法在计算机科爭中受到高度 吊视涪 参阅 

S. Winograd( 1%8) ■ “A New Algorithm for Inner Product f " IEEE Tram , Comp, C-J7, 
693—694, 

V. Strassen( J %9), ^Gaussiftri Klimimtion is Not Optimal. Math r 13 ,3-54—356, 

V. Pan{ 1984), w Haw Can We Speed Up Matrix MukipfitfiuoriV P +1 SIAM Rtrviinv ?6 ,393 — 
416. 

许多此类方法的实际价值儿不济楚.但是在 

D. Railey( 1988 ). “Extra High Spwd Matrix Multiplication on the Cray - 2, "S/A/VJ 7, Sra, 
and Stat r Comp, 9, 603 — 607 - 

一文发表之后，很明显地知 ia 全盘否定这类快速力 法是+ 明智的 sims 箅法的“稳定 

性"将在 S2. 4. 10 中讨论.进-步参阅文献 可见： 

N.j,HighiirD(1990), "Exploiting F^i Malrix MultipKcation within the Level -l liLAS/ 
ACM 下娜 , Mdi 」 Soft. W ,352—368. 

CX, Douglas, M. Heruux，G. Sli3hman> and R. M Smith (19^4 }. “GEMMW: A Portable 
I^evel 3 Bi J\S Wincfirfud Variant of Strasscn s Matrix-Matrix Multiply Algoiithm,"/. 
G 如 ⑽ .Phyi JHM—1(1, 


§1.4 向量化与数据重复使用 


本书讨论的矩阵乘法大多是基 f 点积和 saxpy . 向量计箅机能 
很快执行这类型的运算，因为它的硬件是充分利用向量运算是一 
连串的标量运算这一特点，这样的计算机效率是否高取决于向量 
的长度以及其他些关于数据移动的因素，如向量流，向量存储的 
次数，以及数据重新利用的程度等.我们的目的是熟悉这些因素. 
我们并不试图设计可用来预估表现的完整的向量计算模型.我们 
只需要指出哪些是在设计有效的向量计算程序所用的思路.我们 
不考虑任何特定的计算机.关于具体机型的讨论有大量的参考文 
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献说明. 

1.4.1 流水线运算 

向量计算机快的主要原因与“流水线”有关.流水线的概念最 
好是用生产装配线作为例 F 来说明.假定组装每辆汽车需要在装 
配线 b 的60个丄作台每■个花1分钟.这样，组装1000辆汽车大 
约需要1000 + 60= 1060分钟,对于这种生产量来说，该条生产线 
的有效“向量速度”是每分钟1000/1060辆.在另一方面，如果组装 
线上人员不足，则要1小时才能启动 - 次新的组装，所以制造 
1000辆汽车需要1000小时.在这种情况下，这条生产线的有效 
“标量速度”是每分钟1/60辆. 

同样，对向量相加 ^ = + ：^这样的流水线向量运算也是如 

此.每个标量运算 A +%像是-辆车，闷量的元素个数就如 
生产量.如杲每个^从汗始到结束的时间是 r ， 则利用流水线的 n 
维向量相加可以在远小干 ur 的时间完成，这就产生了向量速度. 
没有流水线 ，向董 计算以标量速度进行，从而将需要大约时间 
完成. 

我们看一组浮点运算什么样才可以流水线化.浮点运算通常 
需要几步完成.举例来说，两个标量: T 和 y 的3步骤可按，圉 1.4.1 
进行-为说明这一运算，我们述用上面的比喻，把加法器着成一条 
有三个“ I 作台”的装配线.输人的数组1和： y 要在三个工作台上 
都花 h —步，三步之后和=就出来 L 注意到无等待”的单个加 
法需要计算时，在计算过程中三个工作台仅有当中之-个是忙的. 

图 1.4.1 3个步骤的加法器 
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图 1.4.2 流水线化相加 
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现在，我们考虑向量相加2；二 : r + ： y . J ： 和： y 就像在流水线似 
的通过加法器.一旦流水线充满之后 ，每个 步骤就可得到一个 
1图 1.4.2 刻画了流水线充满后的情形，在这种情肜.向 K 速度 
就大约是标童速度的三倍,这是由于每--个单独的加法需要3步. 

1-4.2 向量运算 

向量计算机具有“向量指令”的功能，如向量相加、向鏡乘法、 
向量加数、点积和 ssxpy . 为明了起虬，我们假定是在“向量寄存”下 
考虑这些运箅.向量在寄存器和储存器之间可通过 “vector bad ” 和 
“ vector store ” 指令来交换. 

向重处理器中的一个重要的因素是向量寄存器的长度，我们 
记之为 叫 .一个维向量运算必须分为若干个长度不超过处的 
子向量的运算，以下就《维向量相加 = = x + ^说明如何进行分 
划. 


first = 1 

while fasten 

iast=Trunt «， first + ^ — ll 
vector load x( first : last) 
vector load ^(fiist'last) 

vector add z( first: last) = i ( first -last) + 3r( first ： last) 
vector store s ： (fir^t:last), 
firsts last +1 

end 

向量计算机的合理的编译器应该可以从程序中的 r = 指 

令自动产生上述向量指令. 

1.4.3 向 量长度 

假定向量运算冲的流水线需要步“启动”.还假定当流水线 
充满后每步可得到结杲的一个分量.完成一个^ 维的砂 所需时间 
为 
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T n{f ( n) = (t oP + n^_v Li 

其中 p 是每步所需时间，处是向量硬件的长度. 

如眾要考虑的向量长于向量硬件的长度，我们已看到必须将整 
体的向量运算截成硬件能处理的分段运算.所以，当 
n = n L vi + m 0 ， 0 ^ n 0 < v L 

时，我们可假定 

° P 1 ( n v {v op + v L ) + r fjp + n Q )/u t n 0 ^0 

是^维运算哕 所需 的全部时间， 卜 _ 式可简化成 

^opin) = (n + T (fp cd\(rt/v L ))^, 

其中 ceil ( a ) 是满足于 a < ceilU ) 的最小整数，假定计算每个分量需 
要 p 个 fbp , 则对一般《，计算的效率是 


(如果"的单位是秒，则是每秒的 flop 数. ） 渐近效率是 




作为评价向量运算屮启动开销之影响的程度的一种方式， 
Hockney 和 Jesshope ( 1988) 定义…=为达到一半峰值的最小的即 

一 :丄昱 

T vft (n 1 / 2 ) 2 jj , 

具有大因子的计算机执行短向 M 运算时效果不好. 

我们现在看以上计算模型如何运用到矩阵乘法修正 C-AB + 
C ， 其中 AG 和 C 6 二 ™ x '从 1.1.11 节可知有六种 

可能的常规算法，它们对应于下面循环的六种可能排序： 


for j ~ \ n 

lot k — \ ' p 
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((i f j) = A (/ ^k)B{k^j) + C( i ,j) 


end 


end 

这是祕形式，它的最内层循环是 f 维向 M 的点积.因而，从我们的 
效枣模型可知需要 

: rnnp + mn * oeiK/j/^) * r^ t 
步.对其他几种形式进行同样分析吋得下表 


形式 

步 


mnp + wiJ7*ceSl(/?A p j.)' 

J 出 

7/inp + rnn *c6\( 


+ mp m cdi( h / 处 ）■ 

A 

tnnp + np‘ oal( m〜■) . r 训 


mnp + 1 

¥ 

r^tnp + np ， ccilf wi 


我们基于简单的整数计数进行 些观察 .假定 ru 和大致相 
等.如果 m ， n 和/^都小 r &，则最有效的形式应具有最长的内层 
循环.如果和/>都远大于％，则六种形式的差别甚微. 

1 4.4 “间"的概念 

向量运算在存储上的花费对运行速度是冇影响的.主要的因素 
是“间”.储存浮点向量的“间”是向量元素(在逻辑内存位置)之间的 
距离.读取两维 FQRTRAN 数组的行不是整体间运算，因为数组是 
按列储存的.与此相反，在 C 语言中，矩阵是按行储存的.非整体间 
运算影响计算机的流水线能力，从而降低效率. 

为说明“间”的作用我们考虑矩阵乘法的六种形式在最内层是 
如何从 A，B 和 C 矩阵中“抽取”数据的.这是向量计算（点积或 sax - 
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py) 所在,一共有三 

三种可能性 

jki ^ kji 

for ? = 1 ： 


C(i ， j) = C( i y j) + A(}\k)B(k ,j) 


end 

ikj 或 kij 

for j = 1 ： n 


C ： (ij) - CV ， j) + A(i f jk)B(k fJ ) 


end 

ijk 或 jik 

ftr ^ = 1 ： p 


Cd.j) - C(i,j) + A(i,k)B{k.j) 

end 

下表是这三种情形所对应的 A , B 以及 C 的“ 间”： 


形式 1 

a 的 “iar 

a 的 H 间” 

c 的“间” 

jki 或 kji 

幣体 

0 

整体 

ikj ^ kij 

0 

非整体 

非整体 

ijk 或沖 

非整体 

整体 

0 


假定储存是按列为顺序的 .0“ 间”代表在内层循坏中仅用到数据的 
-个元紊.从“间”的角度来看，我们应该偏爱和吩形式.这可能 
与基于向量长度所考虑的偏好不致.这种困境在高性能计算是有 
代表性的， 即:一 个目标(极大化向量 K 度）与另一个目标（要求整体 
“间”)相矛盾. 

-有时，整体间与向量长度的矛盾町通过适当的选取数据来解 
决.考虑 gaxpy 运算 > =如+ ^，其中扈6，吣是对称阵，为简单起 
见，假定设4是按常规储存 R 应用算法 1.1. 4,则核心的计 
算是《个维向量的 saxpy ： 

for ; = 1 ： « 

^ = M- ， jMj) + y 


我们简单的运行模型表明需要 
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步 T 


7" t - n{ + n ) 


在 1.2.7 节我们介绍 r 对称矩阵的下二角储存方式且得到如 
下形式的 gaxpy ： 
for j = \ ■ n 

for i = 1 ； 7 - 1 

y { i ) = A . vcc ( (^ - 1) ^ - / (/ - 1) /2 I j ) . r(j ) + y ( i ) 

end 

for i = j ： n 

y(i) = A.vecf (j - l)?i - j(j - 1)/2 + i h ， (j) + y(i) 

end 

end 

注意到第一个 f 循环并不是整体间的 saxpy , 如果我们 假定个 
n 维的非整体间 aaxpy 等价丁 _ n 个整体间的 saxpy (—个最坏的情 
形）,则此算法需要 


T] = n 


步, 


在 1.2.8 节中我们给出了按对角储存的算法 


for i - I : n 

y(j) = A. diag( i).r(i) + y( i) 

end 

for k ^ l ： n - \ 

t = nk — k(k - 1)/2 
b 二 D(A.k)j ： f 3；i 
for i - \ ■ n — k 

y(i) -■ A. diag (/ + t)x{i 4 k) -i y( i ) 

end 

\y = D ( A ^) T r + >■! 
for i = \ ■ n - k 
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y( i 卜是） = 九 diag(/ + + y(i + k) 


在这种情形下，每个内层循环都是整体间乘法（胃 ） ，根据我们的模 
型,它需要 

T 3 = n(2v 7m + n) 

步- 

此例说明了数据的结构可以影响■个算法之“间”的性质.按对 
角储存看上去很有吸引力，因为它把矩阵紧凑地表示且有整体间性 
质.当然仔细地分析哪一种方式最好取决于\^和的值和非整体 
间计算以及过竜储存所导致的精确影响.这是一个复杂的问题，它 
需要精心设计的标准检査程序. 

1.4.5 考虑数据移动 

矩阵算法中的另一个重要因素是关于在算法执行过程中需要 
移动的数据量.矩阵储存于内存之中，关于矩阵元素的计算在计算 
器中进行,在许多计算机中内存通信的控制对性能是十分重要的. 
继续用本节开始时所用的 比喻: “我们能否足够快输送矩阵数据，以 
保持超快的计算器是忙的？我们能否把结果快速送回内存,而不致 
于数据积压?”图 1 , 4.3 给出一个典型的单处理器情形： 


肝算器 i 
I 高速缓冲1 

个 I 

I 主内$ 

个 I 

B — ]] 

图1.4,3内存分级系统 

具体的设计在不同的机器中是不同的，但有两条“公理”是满 足的: 
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• 分级中的每级的储存有限且由于经济原因分级中越高储存 
就越小. 

• 数据在两级储存之间 的移今 是需要费时的，有时还是比较大 
的. 

设计•个有效的矩阵算法需要仔细考虑数据在不同级别存储 
的流动.关于这方面，向量“触”和数据再用是重要的问题 

1 - 4.6 向置触 

在许多超级计算机中，数据量分段（例如，向量)是移动的.从内 
存读写一组向童所需的时间大致相当于用这组向量进行点积式 
saxpy 所需的时间，因而，矩阵程序中向量触的数目是重要的统计 
数.所谓“向量触'我们指的是一次向量嘍取或向量 存写. 

我们数一下 mXrt 外积的向童触数目.假定 m = m ，处和 n = 
m %， 其中处是硬件的向量长度（见 1.4.3 节）.在这种情况下，外 
积修正 A = 可整理为 

fcr a = 1 * 1 

I = (a — 1 ) 处 + 1 : orv L 

for = 1 ： «i 

j = (/? - l)v L + 1 ' ^V L 
A ( ij ) - + j ：( i ) y ( j) T 

end 

end 

子矩阵 A ( D ) 的每一列都需要读取，修正然后存回去,再加上 
j 的向量触，我们发现一共大约需要 

m n l 

S (1 + S G + 2v l ))^ 2min 

向量触.（低阶项^分析中舍去了 .） 

现在考虑 gaxpy 修正 y = Ax + 3 N 其中以及 
4 '把计算分解为长度为处的小段可得到 
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for 


? — (a — 的 L 

for j 3 = 1 n { 

j = - Dvi + l ： lh L 

yUl = )(0 + A(^j)^O) 

end 


同样，子矩阵 AG , j ) 的每一列都需要读取，但只需存写 j 回去.所 
以 m x gaxpy 的向量触数目为 
% ^ 

S(2+ 2 tl + ^l))^ min. 

1 卜 1 

这是同样维数外积所需的向量触的一半.所以，当一个计算可写成 
外积或者是 gaxpy 时，从向置触的角度来看最好是写成后者. 

1.4.7 分块与再用 

缓冲是一个介于运算器与主内存之间的一个小的髙速内存，见 
图 1.4, 3.缓冲的有效利用影响计算表现，因为它直接关系到数据在 
运算器与下级内存的流动. 

为说明这一点，我们考虑矩阵乘法修正 C = AB + C ., 其中4， 
存于主内存,所有数据必须通过缓冲才能到达进行浮点 
运算的运算器.如果缓冲小而《较大，则修正必须分成小的部分，缓 
冲才可“体面的”让数据通过. 

一种方式是将 B 和 C 分块： 

B = [氏 ，…， B N ] t C = [ C t ，…， Qv ], 
ll l l 

其中 72= W . 从展开式 

Q = AB, + C, - SA( ： ^)B a (^, :)十 CL 

我们得到如下计算框架 
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for a = \ - N 


把氐和 C H 取到缓冲 
f«* k = \ ■ n 

把 A (: A ) 取到缓冲并计算 

C a = A (：. k ) B a ( k t ：) + C a 

end 

把 C ； 存回主内存 

end 

注意到如果缓冲器大小为 M 个浮点数，则我们必须满足 

2 nl + w ^ M . (1.4.1) 

令 A 是缓冲与主内存之间（任一方向）浮点数的流动次数.忍的每 
个元素都要取到缓冲一次， C 的每个元素都要取到缓冲一次且存回 
主内存一次，还有4的每个元素都要取到缓冲 N ^ n / i 次，所以 

Tj = 3 n 2 + , 

为了使数据流动尽可能少，我们在 （1.4.1) 的条件下选取尽可能大 
的 /. 于是我们取 


得到 

r ^ 3n2 + ^—' 

M - n 

(我们用“，强调我们的分析是非精确的)如果缓冲大到可存在整 
个 B 和 C 以及 A 的一列，则/ = 心 0=47^,在另一个极端情况，缓 
冲只能存三个列向量，则 

现在我们考虑及=(〜），霣=(~)和 C =( C #), 是 JVXJV 分 
块且每块的维数都是 l = n / N . 在此分块下，计算 

■V 

+ a = \ ： = 1： N 

可写成 ' 
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for a = 1 ： N 


将 Cy 取到缓冲 

for r = 1 ： N 

将 A ar 和取到缓冲 
= C^s + 

end 

将 C # 存回主内存 


在此情形主内存与缓冲之间的通量为 

r 2 = 2 n 2 + ~ 

这是因为4和 B 的元素需要读取 iV = ^//次 . C 中的每一个元素 
都需读取以及存写一次.我们能通过选取尽可能大的 L 来极小化这 
一通量，条件是只要缓冲中能储存下三个矩阵块.即 

令即知 


A ^ 2n 2 + 2n\ 


简单计算可知 


1 1 〜 1VI ^ 71 ^ 


2 + 2 / 3 , 


—个重要的量是 《 2 / M ， 矩阵大小(浮点数)与缓冲器大小之比.当这 
个比增大时，有 


故知从数据进出缓冲器的角度来说，第二种分块方案要好.所有这 
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些所导致的基本轉论是，分块影响数据的移动， 

1.4.8 分块矩阵结构 

我们以讨论分块数据结构来结束本节.允许两维数组的程序语 
言必须有在内存如何储存这种数组的约定.例如， PORTRAN 是按 
列优先储存两维数组的.这意味着一列的元素在内存中的相邻的. 
所以，如果24个储存单元分配给4 G I 4 %，则传统的列优先储存是 
把矩阵元素像图 1.4.4 那样排列储存在内存之中的.換句话说，如 
果“存于。（1:则），则 A (~) 存于 W (厂 1) 爪 + 这种 
方式对于按列用到矩阵之元素的算法是有好处的，因为列元素是连 
续存储的. 



图 1.4.4 按列存储 (4 X 6 例于） 
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图 1.4.5 按块储存 (4 X 6 例子 ,2 X 2 7-块） 



在某些矩阵箅法中，有时把矩阵按分块存比按列存更有用.例如，上 
面提到的矩阵 A 可看是一个 2 x 3块矩阵，每块都是 2 X 2 块，则24 
个元素可按图 1.4.5 所排列.这种数据结构对分块矩阵箅法是很有 
吸引力，这是由于每块的元素在内存中是连续存放的. 

习 题 

1.41 考虑矩阵乘积 = ABC， 其中 

假定所有矩阵都按列存储，且执行 A 维整体间的 ^axpy 运算需要时间为〆幻= 
a + iOp , 其中 l 是常数 # 是每一步的时间 1 基于这一模型，什么 时候用 u = 
(AB>C 比用 0 = 来计算 D 更经济？假定所有的矩阵乘法都用 

(gaxpy) 算法. 

1.4.2 设所有的矩阵都是按列储存，运行长度为 A 的 saxpy 需花时 tU) 
^(L + k ) F 其中 L 是常数#是每步的时间，问 j 紅形式的矩阵乘法需要多少 
时间？给出一个能有效处理 A 和 B 都是 n X 上三角矩阵的情形.是否此算 
法会像 flops 数所表明的那样比方矩阵情形块六倍. 

1.4.3 给出一个汁算 C = A t «4 的算法，其中力和 B 都是矩阵且 
B 是对称的.所有内层数据都应该是整体间. 

1.4,4 假定 按列存于 A,ool(l:mn> ■设 m = qAf 和 n = L 2 N , 

我们把 A 看成 iVfxjV 块矩阵.每块大小为.任给和#满足 

和 KjS<iV, 求出 i 使得 A.ooiU) 储存〜中的 
元素，请给出一个将 A 按块储存(见图1.4.5)覆盖到九00100.请问需要 
多大的工作数组？ - 
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，第二章矩阵分析 

§2.1 线性代数初步 

§2.2 向置范数 

§2.3 矩阵范数 

§2.4 有限精度矩阵计算 

§2.5 正交化与 SVD 

§2.6 投影与 CS 分解 

§2.7 正方线性方程组的敏感性 


矩阵计算的算法之导出和分析需要借助于线性代数的某些性 
质.一些基本的性质在 §2.1 中介绍 ，范数及其性质在 §2.2 和 
§2.3 中介绍.在 §2.4 中，我们给出有限精度计算的模型并将其用 
于误差分析. 

再往下的两节讨论正交性，它在矩阵计算中的作用是至关重要 
的.奇异值分解和 CS 分解是两个能为秩以及子空间之间距离等重 
要概念提供深刻理解的正交约化.在 §2.7 我们讨论当 A 和6扰动 
时 Ar = 6之解是如何变化的，并给出了矩阵条件数这一重要概念. 


预备知识 

与本章内容相辅的文献包括 Forssythe 和 Mbler ( 1967 ) » Stewart 
(1973) , Stewart 和 Sun (1990) ，以及 HighamC 1996). 

§2.1 线性代数初步 

本节是线性代数的一个粗略的复习，希望有更详细了解的读者 
应参阅本节末给出的参考文献. ' 
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2.1.1 独立,子空间，基和维数 


:^中的一组向量 Ui ，…，七丨如果从= c 可推出 
«(1：») =0则称为线性无关.否则有&的非平 k 组合为零.此时称 
，…，是线性相关的. 

中的子集如果也是向量空间则称为的子空间.任给一组 
向量屮 ，…，这组向量的所有线性组合是一个子空间，称之 
为 Ih ，…，(的张成空间： 

n 

spanU 】 ，…， aj = | S 制 U R | ‘ 

如果，…， a n 丨是线性无关的且 span 彳 a i ，… r 丨，则厶是 
& 的惟一的线性组合. 

如果 Si ，…， 是中的子空间，则它们之和是由 S= U! + 
a 2 + …七 esy = 1:M 所定义的子空间，如果每个 MiS 都有 
惟一的表示方式^ =七十… + a t ，46S,, 则 S 称之为直和，在这种 
情形我们记为的交集 
是一个子空间. 

子集 u fl ，…,是 Iq ，… ，七 丨的最大线性无关子集如果它线 
性无关且不是 ，…， 七丨任何线性无关子集的真子集.如果 

\〜[是最大线性无关 子集则 spanj^j 1 = spanfa ,. ，…， 

} 

\ 1 而且彳 ，…， | 是 spanlq ，…， cz n 丨 的一组基.如果是一 

子空间，则可找到线性无关的基向置七，…满足 S = 
spenla^-sa,!. 一个子空间 S 的所有基都有同样多的元素.这个数 
目是 S 的维数，记为 dim(S). 

2.1.2 域，零空间和秩 

关于 m X « 矩阵 A 有两个重要的子空间 的值域 定义为 
ran(A) ^ \ y e R m '■ y = Ax f 对某一： r 6 M n K 
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A 的零空间定义为 

null ⑷= u e M n ： Ar = 0(. 

如果 4= [ u lf …, a n ] 是一个列分划，则 

ran(A) - spanjc^ ， … ，〜丨 . 

矩阵4的秩定义为 

rBnk( A ) — dim(ran(A )). 

可以证明 rank ( A ) = rank ( A T ) ■ 如果 rank(A ) <mint /» ， 《 丨，我们说 
A G ： R mX "是降秩的.设 A x '则 

dim(null(A)) + rank(A) - n . 

2,1.3 矩阵逆 

单位矩阵是由列分划 

所定义，其中 q 是第丨个坐标向量 

e k — (0 ， -, ， 0 ， 1 ， 0,… ， 0) T . 

坐标向量在矩阵分析中常常用到，当维数不明显时，我们用上标记 
号，即 e { n ) e ¥,\ 

如果 A 和 X 属于] T 〜且 满足 AX = f ，则 X 是 A 的逆矩阵，被 
记为4 ' 如果存在4被称为非奇异，否则我们说 A 是奇异 
的. 

逆矩阵的一些性质在矩阵计算中起重要作用.乘积的逆等于逆 
的 乘积： 

( AB )- 1 = (2,1.1) 

逆的转置等于转置 的逆： 

( A- L ) T = ( A T )- l = A ~ T . (2.1.2) 

恒等式 

= A " 1 - A ) A _1 (2.1.3) 

表明逆的变化与矩阵变化的关系. 

Sherman - Morrison-Woodbury 公式给出 了(力十 tj [ y T ) 之逆的一个 
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方便的表 达式： 

(A + UV T y l - A ~ ] - A ~ ] U(I + V T A - L U ) l V T A 

(2.1.4) 

其中"，以及 t ； 和矩阵的秩方变化导致逆矩阵 
扶 k 的变化.在 (2.1.4) 中我们假定 A 和 J + 都是非常奇 

异的. 

上述事实可以通过直接验算逆矩阵应满足的条件 来匪明 .例 
如，以下是 (2.1.3) 的证明： 

B ( A _1 - B l (B - A ) A ~ l ) = fi 4 _1 一 （B _ A ) A^ V - I , 

2.1.4 行列式 

设 A = 则它的行列式是 detMha . dejrx "的行 

列式可由 ； Z - 1阶行列式来 定义： 

det(A) = 2( _ D^^^detCA^). 

这里是从 A 中删去第^行和第 j 列后所得到的矩阵.矩阵的有 
用性质包括 

det ( AB ) = det ( A ) det ( B ) ， A，B 6 R nXn , 

det ( A T ) = det ( A ), A 6 

det ( cA ) = c ra det ( A ), c e R,A e : R n> ' 

« det ( A ) 是非奇异， A ^ R "' 

2,1.5 微分 

设 《 是标量且 AU ) 是由元素组成的矩阵，如果 
对一切 f 和都是可微函数，则我们记为 

乂 (a ) = ^ Ma ) " (老〜 (《))= (、(《)). 

带参数的矩阵之微分对研究许多矩阵问题的敏感度是很方便 
的. 
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习 


题 


2.1.1 证明：如果的秩为则存在 X €] 俨 M 和1^粑4使 
得立=灯 7 ,其中 rank ( X ) = rank ( Y ) = p . 

2-1.2 假定 AUWlf 〃和 B («) G ] ET XW 的元素都是 a 的可微函数，证 
明 

^[^(«)^(|?)] - [^ACa)]fi(a) + A(a)[^B(«)j. 

2.1.3 假设 AU ) GR ™ X "的元素都是《的可微函数，设 AU ) 对一切 a 
都可逆，证明 

^[A(a) _1 ] = - A(a ) -1 [^A(a)]A(a) _1 . 

2.1.4 设 AGRW ' WTT 且 = f 证明卢的梯度是 
V^(z) = - ^(A t + A)x-6. 

2.1.5 假定 A 和 A + 卿 1 都非奇异，其中 AeiR" Xrt 且“，证明如 
果1是(^4 +叩 1： )1 = 6的解,则它也是带扰动右端项问题^ = 6十0^的解- 
试用 A , H 和 W 表达 tf- 

本节注释与参考文献 







j,M. Ort<®a( 1987). Mi/nj ： f rhe(vy\A S&xmd CburM^Pknum Press,New York. 

§2.2 向量范数 

范数在向量空间的作用就像实数轴上的绝 对值: 它提供距离的 
一个度量.更确切地说，『与其中的一个范数定义了一个距离空 
间.从而，我们在研究向量及向量函数时有邻域，开集，收敛和连续 
性等熟悉的记号. 

2.2.1 定义 

在 R" 上的向量范数是满足如下性质的从: R" 到] R 的函数： 
/(x)^0, x & M n (/ U )^ 0 当且仅当： r 二 0); 

fix + y)^f(x) + f(y) , uGR"; 
f{ax) = I a 1 f{x) , aGR ,x€:R n . 

我们用双线记号来表示此函数: /(_r)= || :r || . 双线下的下标 
用来区分不同的范数. 

一类有用的向量范 数是户 范数，其定义为 

[I 工 II p = ( I 工 1 1 p + …+ I 工 /> 1 - (2.2.1) 

其中最重要的是 1,2 和无穷范数 

II JC II 1 = |戈1 丨十…十 | A I ， 

IU 2 二 （ I 工 1 I 2 十 …+ W 2 )i = , 

IJ j : |] oo = max I 1 , 

在范数 II * II 意义下的单位向量是指满足于 II X || =1的向量: T. 

2,2.2 向置范数性质 

关于范数的一个经典结果是 Holder 不等式 
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i + i = L ( 2 - 2 - 2 ) 

它的一个非常重要的特殊情形是 Cauchy-Schwam 不等式 

II II ^ II 工 II 2 " 7 " 2* (2.2.3) 

jtr 中的所有范数都是等价的.也就是说，如果 li • II a 和 II _ h 是 
上的范数，则存在正常数 C 1 和 c 2 使得 

II -r L (2.2.4) 

对一切都成立.例如，如果: re ，， 则有 

l|x|| 2 < U ll 2 , (2.2.5) 

II x II ™ ^ H j ： || 2 ^ -J~n II x II oo» (2.2.6) 

llx II IMU. (2.2.7) 


Z . i . 3 绝对误差和相对误差 


假设是的一个近似.对给定向量范数 II • II ，我 

们称 


e alB = 


II X - jc \\ 


为主的绝对误差.如果则称 

11 主 - I II 

e ^ = IUII 

为壬的相対误差范数意义下的相对误差可以换成玄具有正确的 
有效位数的说法.例如 t 如果 


则 X 的最大分量至少有大约位有效数宇. 

例 2.2.1 如果又 = (1.234,0-05674) T ，王= (1.235,0.05128)' 
则 Wx - xW ^/ Wjc 11 »々0.0043〜10 _3 .注意， h 有大约3位有效 
数字是正确的而$仅有一位正确的有效数字. 
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2.2.4 收敛性 

如果 


lim || - x || =0 ， 

我们称《维向量序列是收敛的，从 (2.2.4) 可知，在 a 范数意义下收 
敛可推出在 j 9 范数意义下收敛，反之亦然. 

习 题 

2.2.1 设证明 lM |+= ||.t IU . 

2.2.2 利用 0<( oj : + by ) 1 (tir + 及选取适当的 a 和6证明 Cauchy - 
Schwartx 不等式 (2.2.3). 

2.2.3 验证丨 M i 和 || ■ Ik 都是向量范数. 

2.2.4 证明 (2.2.5) — （2. 2,7)，问何时这些等式成立？ 

2.2.5 证明在，中当&仅当对々二 l : u 有 
2.2.6 通过验证不等式 I II x II - || ^ || | < || ^ - ^ If 来证明 JR f[ 中任何 
向量范数是…致连续的. 

2.2.7 设 || . II 是 W 上的向量范数且 AG ； b : mX '证明如果 rarik ( A ) = 
« , 则 II x || A = || Ar || 是 P 上的向量范数. 

2.2.8 设 uGFi "， 定义冗 叫 R 的函数 0( a ); ||.r _吵|| 2 .证明0在 a 
- i T ; y /：/; y 时达到最小， 

2-2-9 ( a ) 证明 || I || 卜卜…+ 上的向量范数. 

⑹证明:如果 则 IMI ^cC II ReU ) || 々 t || bnU )\ ,).< c ) 找出常数 
使得 li Re <^)[|^ || Im (. r ) ]| ]| j |j 2 对一切 ^GCT 都成立. 

2 . 2.10 证明或举例反证 

I G 11 v [! 1 IJ ^ ^ 1 + 2^ II ^ I! 2' 

本节注释与参考文献 


虽然向量范数 “仅仅 H 是绝对值概念的推广,有些微妙 之处足 值得注意的： 

J D-Pryre( 1984 ) , "*A New Measure 1 of Relative enrar far Vectnis", SIAM J Num. Anal. 21 , 
202 — 221 . 
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§2.3 矩阵范数 

分析矩阵算法时常需要利用矩阵范数.例如，线性方程组解法 
在系数矩阵“几乎奇异”时效果可能很差，为了 S 化几乎竒异这一概 
念我们需要矩阵空间之距离的度量.矩阵范数提供了此度量. 

2.3.1 定义 

因为〖 …与 …是同构的,矩阵范数的定义应等价于向量范数 
的定义.特别地说在满足 

f(A)>0, Ae.x fflX/l (/(A)^0 

.当且仅当 4=0); 

/(A + BX/(A) + /(B), A ,Be^ nXt> ; 
f(aA)^ I a \f(A ), a , A G x H . 

这三个条件时是矩阵范数.弓向量范数一样，我们用带下标双竖线 
来表示矩阵范数.即II All -/(A). 

在数值线性代数中，最常用的矩阵范数 F 范数 (Fiubenim 范数) 

II A || F = / S S \ a u\ 2 (2.3.1) 

V f = 1 j = i 

和 p 范数 

( 2 . 3 , 2 ) 

注意到矩阵 p 范数的定义是基 T 上-节所吋论的 向量户 范数，验证 
(2.3.1) 和 (2.3.2) 是矩阵范数将作为-练习，很明显，II 4 ||>是将 
A 作用到户范数单位向量所得到的最人向 ft 的户范数 

di A h *:)、 = 

重要的是要认识到 (2.3.1) 和 (2.3.2) 定义了范数簇，例如 K 3X2 上的 
2 范数与 K 5 % 上的2范数是不同的函数，因而，很容易验证的如下不 
等式 
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fl ii a if^ifsj!^, a e e : p ，、 

(2.3.3) 

实质上是关于三种不同范数之间关系的结论，规范地说，如果对所 
有 AG]R mX "和 B 6. e nX(I 有 /(AB)</ 2 (A)/；3(B) 则称，] 

和上的范数 / 1t / 2 * / 3 是相互相容的. 

并非所有范数都满足可乘 性质： 

II AB || < ||A II ii B || . (23.4) 

例如，设 II A t| ^ = max I I fO 

a ^ b = [\ !!■ 

则 II AB jj △ > || A |U || B IU, 大多数情形下，我们研究的范数满 
足(2‘3.4).. 

户范数有一重要性质，即对任何： rGIT 有 
II Ar ||〆 \\ A \\ p \\^ jjp. 更一般地，对7上的任意向量范数 
II • II a 和：上的任意向量范数 || . I 有 || Ar II || A || y 
11工11。，其中1|4|| y 是由 

IUL ，潠 ,:2 . 3 . 5 ) 

所定义的矩阵范数.我们称 || ■ || 4是从属于向量范数 || . || a 和 
II • I■由于集合 UeF”： || II, = 11是紧的，而且 || ■ I是连续 
的，故有 

II A || = rmx II Ar Jl ^ = II Ax * || ^ (2.3.6) 

II 工 II 2 — T 

对某一单位 a 范数向量 x # GR" 成立. 

2.3.2 一些矩阵范数性质 

Frobenius 范数和 p 范数(特别是；)=1,2, ™) 满足一些在矩阵 
计算的分析中常常用到的不等式.对4 x ” ,我们有 
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II ^ ! ! 2 ^ II ^ II F II A jj 2, 


{2.3.7} 




max ) 〜 j 《 ll A H 2 ^ max \ a tJ \ ^ 

if w 

(2.3*8) 

II A II ! = Tmx i , ' 

id ,: 丨 

(2,3.9) 

n 

1 A IU ，= max V] L 

1-:: T r :::m ) 一 i 

(2.3.10) 

~r || A 11 oo ^ II A || 2 ^ m || A 11 so , 

V n 

(2-3.11) 

乂— | A || i ^ ll A H 2 II A || i - 

V ?n 

(2.3.12) 

AeR mX \ l ^ ii < h ^ 以及 ，则 

|| A ( 21 : ^2 »J 1 : )2) II p < 1 A II f 

(2.3.13) 


这些关系式的证明不难，均留为作业. 

如果 II A ⑴ -A || 二0,则称序列 U U ) i ㊀ ，“ 是收敛 
的.范数的选取是无关紧要,这是因为 H 的所有范数都是等价 
的. 

2.3.3 矩阵的2范数 

矩阵1范数和 ™ 范数的一个好性质足它们吋从 （2.3.9) 和 
(2.3.10) 容易地计算 .2 范数的特征要复杂得多. 

定理 2.3.1 设存在一个单位2范数打维向量之 
使得 A T Az = fx 2 z 其中 "=II A || 2 . 

证明 假定 f 是使得 H Az \\ 2 = \\ A \\ 2 的单位向量.由 
于 Z 极大化函数 

/、 1 II At II !_ 丄 x r A T Ar 

只⑴ ^ 2 TTTiT = T— 

故有▽只 O ) = o 其中是片的梯度.详细的微分计算表明对-切 
^ = 1: n 有 
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= [ (^ T ^) S - ( z r A T Az ) z t ]l ( z T z ) 2 . 

利用上式和 VgU ) =0 得到 A J Az = (z t A t Az)z. 令" = \\ Az \\ 2 
即知定理成立. □ 

该定理表明 IU O 是多项式的零点. 
精确地说的2范数是 4 t A 的最大特征值之平方根.在第七章和 
第八章我们将进一步讨论特征值,现在，我们仅注意2范数的计算 
是需要迭代而且肯定比矩阵1范数式》范数之计算要复杂.幸运的 
是，如果目的是得到 || A || 2 大小阶的估计，则可利用（2.3.7)， 
(2.3.11) 或 (2.3.12). 

作为“范数分析”的例子,下面是2范数估计的一个巧妙结果： 
推论 2.3.2 设 '则 \\ A \\ 2 ^ jAlWlAjZ . 

证明 设满足其中 II A || 2 .则有 
" 2 IU lh = Jj A J Az II 1 < [| A r II ! JJ 4 f| ! II ^ II , 

=IUII 卜 □ 

2.3.4 扰动与逆矩阵 

我们常用范数来对扰动的影响量化或者证明一个矩阵序列收 
敛于一特定的极限.作为范数的这些运用之一例子，我们把 A — 1 的 
变化表示为 >4的变化之函数. 

引理 2.3.3 如果且 If F |^<1, 则非奇异且 
(i-F)- 1 = 

女一 0 

而且 


"( 卜錢 <r^lW 

证明假定 J-F 奇异.则对某非零1有 （ f- F)：r 二0.从而 
1U11, II 1>|| p 可推出 || 矛盾，所以 J-F 非奇异.为 

得到逆矩阵之表达式，考虑恒等式 
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(Si^) (/ - F) = J - 广、 

i -0 

由于 从而由 H 11 II JMIf 可知 

T 1 是 


(W) (卜 F ) 


i\ 

故知玖由此不难证明 


II (1 - FT 1 !U < S II F II ^ = x _ \\F\\" p ' 


n 


注意到引理的一个推论是 II (/- F )- 1 - I il F \\ P /( I - 
II F |] 于是 ，当 〆 <1 时, J 屮的 OU ) 扰动将导致其逆的 OU ) 扰 
动.我们把这一结果推广到一般矩阵. 

定理 2.3-4 设 A 是非奇异且/ ■= |j || P <1, 则 A + E 

非奇异且 il (A + Ey l - A~ l \\ p < II E i ! ^ 1 U " 1 || jAl- 「I 

证明由于兑非奇异3十五=又（1一10，其中尸 = A ^ E . 
因为 11 F || P <1， 从引理 2 丄 3 知 J - F 非奇异且 || ( l - F ) 1 II p < 
l /( l - r ). 而 (A + £) l -( J - F) l A \ 所以 

n , . ,, II " 

II (A + E ) 1 II t _ r P . 


等式 (2.1.3) 表明 （A +£) 1 - A _1 二 —A -1 £(A 因此两边 

取范数我们有 

II U + ||^ 1]A- 1 11^ llEll J|(A + £}- l Hp 

^ 11 A_i II j II £ II p n 

^ \-r U 


习 題 

2.3.1 证明 II AB II p < Il A || J B Up 其中 

2.3.2 设 B 是 A 的任何子矩阵，证明 11 B II 4 

2.3.3 证明 ：如果 JD = diag(/^， …，涔 ）G ，是 =min I !77, rt i ，则 
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|l D || f, = max I fi t I 

2.3.4 证明 (2.3.7) 和 (2.3-8). 

2.3.5 证明 （2.3.9) 和 （2.3.10). 

2.3.6 证明 (2. 3, 11) 和 (2.3.12). 

2.3.7 证明 （2.3,13). 

2.3.8 证明 ：如果 则 

"£(，-羡 = ；| E || 2 , _ 

2.3.9 设，和证明 ：如果£ = 则 
fl £ II ,- = II £ [| 2 - II « il 2 II dl 2和 U ’ k < II « II M II Hi 「 

2.3.10 设以及 P ■证明 
是所有满足 ( A + 五 h = . V 的具有最小 2 范数的 m 乘 n 矩阵. 


本节注释与参考文献 


关于矩阵及向虽范数的深入讨论，吋见 

F.L.Bauer and C,T. Hkc(l%0), H Ncmis and Exclusion ThecransNurjipr 」 Mith- 2, 137 — 

144. 

I- Mirsky(l%0). ^Symtrietnc Gauge Functions Etfid Unitarily [nvanmt Nomxi/ 1 Qi^art r J. 
Math. ] 159. 

A 「 S. Housclinlder(l%4). Jhs of McUrkes i 打 Nm^erim! Arialysx , Dt>ver Hiblicmkais ， 

New York. 

N.J.Higham(l992) J ^liniating the Mfltny ^Numi/'Numcr, Mai h. 62,539 — 556, 

§2.4 有限精确矩阵计算 


使得矩阵计算这一领域如此非平凡而且有趣的部分原因是舍 
入误差，在本节我们建立一个浮点运算的模型并用其讨论浮点的点 
积, saxpy ， 矩阵-向量乘积，矩阵，矩阵相乘的误差界.如需要比我们在 
此给出的更深人的处理，见 Higham (1996) 或 Wilkinson (1965). 
Fonytlie * Moler (1967) 以及 Sfeward (1973) 的讨讼也是很精彩的. 

2.4.1 浮点数 

在计算机进行计算时，每一算术运算常被舍人误差影响.此误 
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差之产生是因为机器硬件仅能表示实数的一个子集.我们用 F 表示 
该子集且称它的元素为浮点数.按照 Fo^ythe, Malcolm 和 Mder 
(1977,第10 〜 29 页〉 的约定 ，一 个特定的计算机上的浮点数体系可 
由四个整数来刻画 :基数 /?，精度 h 指数区间 [L，U]. 具体地说， F 
由所有形如/= ±. did 2 "- d t xjT ， 0«< 札山关 
的数 f 和零组成.注意对非零 /G F， 我们有 m< k I <M ，其中 

m = J 3 L _ 1 和 m 二 芦 [ 7 (] - (2.4.1) 

例如，如果芦= 2,〖= 3，1二0和 U = 2, 则 F 的非真元素则在图 
2.4.1 中数轴上的竖线所表示.注意这些浮点数并非等矩分布 . （卢, 
艺丄，17)的一个典型取值为(2,56「64,64). 

I l l 丨丨丨 丨 | | " | I | 叫 " 丨 [Ml 

-2 -1 -0.5 0 0.5 1 2 

图 2.4.1 浮点数系统例了 - 


2.4.2 浮点运算模型 

为对一给定箅法给出舍人误差之影响的-般性结论，有必要给 
出 F 中的计算机运算模型.为此，定义集合 G. 

G 二 U e ^ l<Ml U {0(, (2.4.2) 

以及 G—F 的算子 /Z: 

j 最靠近 r 的 c G F, 当 c 不惟一时 j 
= I 用截断方式选取 I 

可证明 / 算子满足 

fl{x) — j:( 1 + e), I £ u , (2.4.3) 

其中 W 是单位舍入，其定义为 

« = 如 1 ' (2.4.4) 

设 a 和6是任意两个浮点数 且用“ 吵”表示四种运算+，_， x ， 
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+中的任一种.如果 a 则在我们的浮点运算模增中我们约 

定 （a 吵 A) 的计算值是夕 （a 0户6).我们有_/?(0 opb) = (a op b)(\ + 
e) ，其中 I e I . 于是 


f fl{a op b) - (a 
\ a op b I 


opb ^0. (2,4.5) 


这表明每个算术运算都有 ■小 的相对误差^，但是，当涉及-系列运 
算时，情况并非如此. 


例 2.4.1 设浮点运算中 二 |()，f = 3,则从 j ?[/ Z ( KT 4 + 1 )- 
1]=0表明相对误差为 1. 另一方荀精确答案由 fl {\- 
D )] = 10 4 给出.故知，浮点运算并不总是可结合的. 

如累 a op h 务 C ;， 则出现了运算违例.当|«吵6 j > JVf 式 
\a op b\<m 时分别称为上溢和下溢.处理此类情形以及其他违例 
情形是与机器硬件与系统有关的. ' 


2.4.3 相消 


有限精度运算的另-重要方面是灾难性相消现象 . 粗略地说， 
这一术语是指用大数相加得到小数时所导致有效位数的大曇失去. 
Forsythe，Malcolm 和 Moler(1977,pp 14〜 16) 给出的一个著名例子是 
用 ^ylor 级数计算%其中 a >0.此方法的舍人误差大约是最大 
部分和的《倍■对于大数心该误差实际上比要求的指数还大， 
因而无论级数和中用多少项，计算结果中 没有正 确的有效数宇.另 
-■'方面，如果在 f 的 Taylor 级数中有足够多项相加，然后求其倒数， 
则可得到满足精度的之近似值. 

2.4.4 绝对值记号 


在讨论一些矩阵计算的舍入误差分析前，我们先熟悉一些有用 
的记号■设4 '我们 希望把它的浮点数表示所导致的误差量 

①有些重要的机器的加法运算满足 土 幻= (1 + q )« ± ( 1 + 其中1 | , 

1 在这种机器环境下，不等式 IU ± - (fi ± 6) | <« | a ± & | 不■定成立， 
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化.记 A 的储存值为 / ZC 4) .我们可知 

[.//(A)] ?J - /?( 〜） = aj\ \ e ;> ), (2.4.6) 

对所冇 z 和 /都成立.如果我们采用两个约定则可得到一史好的方 
式来描述此结果.设 / i 和 b 都属于 - y \ w \ 

B = I A | -> b b = I 〜 I , ； - 1 ： = 1 ： w :； 

B ^ < £j"，i = 1 : m ， j - \ n. 

利用这 些记号 ，则 (2.4.5 W 写成 

I/ ⑷ -A I < w |.4 I . 

这样一个关系式很容易变成范数不等式，例如 II ./7( A ) - A 1| 
u \\ A \\ i .但是，在量化矩阵运算舍人误差中绝对值 记号出 范数更 
有信息性是因为它对每一个元素都有估计. 

2.4.5 点积的舍入误差 

我们以考虑标准的点积所引起的舍入误差来开始有限精度矩 
阵计算的研究： 

^ =0 

for 々二 1:7? 

s = s + 上砂 (2.4.7) 

end 

这里 I 和^是 n 乘1的浮点向 U . 

要试图量化此算法的舍入误差，我们立刻面临一个记号 问题: 
计算值与准确值的区分.当所考虑的计算是明显时 ，我们 用算子 
) 表示计算值,这样识：^30就表示(2.4.7)所输出的计算结果. 
我们来估计 I flU T y )~- r T y I 的界.如果 

r 

v = -娜） ， 

丨=1 

则 + p -2' n ^ 

flUp-Y + ./Kx a V^)) 

= (sp I + 1 办 （1 t dp))(l + e p )， 
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1^1 ，丨 (2.4.8) 

简单的代数可证 

71 

fl(x T y) = = 2^(1 + r k ), 

k = \ 

其中 

n 

(1 + r t ) = (1 + ^)TT(1 + £j). 

这里利用了约定以= 0,于是 』 

I fi (^ T y ) - Jc l y I < 2 I x ^k I I ^ I . (2.4.9) 

为进一步分析，我们必须用 《 来给出 I u I 的界.下面的结果对此是 
有用的. 

引理 2.4.1 如果 （1 + a ) = 1丄（1+(^)其中10^|€«且72« 

卜 1 

<0,1,则 Mgl . mm *. 

证明见 Higham (19%， p 75). □ 

把这一结杲用于 (2 乂 9) 且做“合理”假定 《■ w <0. 1则得到 

I Jl(x T y) - 1 < 1 ‘Olrtw | 工 | T | ) | ■ (2.4.10) 

注意，在 I : t T j I 《 I 工 I T I y 时 i 7 U T 30 的相对误差可能不会小. 

2.4.6 M 化舍入误差的其他方式 


估计引理 2.4.1 中 a 之界的一个较简单但不太精确的方式是 
I ct | K：nu + CKw 2 ). 利用此约定 T 我们有 

I fl{a: T y) - jP-y | ^ «w | X | T | | + G(u 2 ). (2.4.11) 

表示同样结果的其他方式包括 

I ft(x T y) - J： T y I < ^{«)m |x | T | 3/I (2,4.12) 

和 


\ fl { x ] y ) - x T 3 /| < _ I :r I r | ：y I ， （2,4.13) 

其中 (2.4.12) 中的 Mn ) 是 n 的一个“温和”函数， （2.4.13) 中的 c 
是一个量级为1的常数. 
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我们对 (2.4.10)-(2.4.13) 所给出的误差界形式不表示任何的 
偏好.这样我们就不必将文献中的误差分析结果改写成某固定形 
式.酣且，过份 X 心误差界的细节与舍入误差分析之“宗旨”是不符 
的.正如 Wilkinson (1971， p 567) 所说： 

仍然有一种倾向，把由先验误差分析所得到的精确误差界看得 
过重.依我之见 T 界本身通常是最不重要的.此类分析的主要目的在 
于揭露算法中可能存在的潜在不稳定性，从而希望由所得到的内在 
性质来导致算法的改进,界本身常常是比它能达到的界^弱，这是 
因为需要把大量的细节限制到合理的水平，还因为把误差用矩阵范 
数来表示所带来的局限性.一般来说,先验误差界是不应在实际中 
用的量.实用的误差界常常由某后验误差估计决定，因为这样可充 
分利用舍入误差的统计分布和矩阵的特殊性质，如稀疏性爭. 

重要的是我们要牟记这些观点. 


2.4.7 点积累加 


有些计算机能够用双精度来累加点积.这就是说，如果和 y 
是长度为£位数的浮点数向量，则 （2.4.7) 中的和5是在氏度为 2 r 
位数的记数器中迭加.由于两个 r 位数的浮点数之积可精确地用双 
精度变量表示，只有当 s 写回到參精度内存时才产生舍人误差.在 
此情形下，常常可以断言计算的点积有好的相对误差，即 JlU T y ) 
=1\(1 +幻，1糾〜《.因而，累加点积是很有吸引力的. 

2.4.8 其他矩阵计算中的舍入误差 

很容易证明，如果 A 和 B 是浮点矩阵是浮点数，则 

fi ( aA ) = oA + E,| E|< w|oA| (2.4-14) 

和 

- / l(A -+ B ) = (A + B ) + eAe \<： u\A + B \ . 

(2.4.15) 

从这两个结果很容易验证计算出来的 saxpy 和外积修正满足 
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fl(ax y) — clt + y + 2 r,ls ： |^w{ 2 laxl + 1 jy I ) + 0( u 2 ), 

(2.4.16) 

fi{C +• uv = C + uti 1 十 E ， I £ 1 < w( ! Cl + 21 丁 1 ) + 0(m 2 )- 

(2.4.17) 

利用 (2.4.10) 不难证明两个浮点矩阵4和 B 的基于点积的乘法满 
足 

fl(AB) = AB + [ ， |[|< 仙 1 A| |B| + Oiu 2 ). 

(2.4.18) 

基于 gaxpy 以及基于外积的乘法也有同样的结果.注意，矩阵乘法并 
不一定有小的相对误差，这是因为 1仙1 可能远小丁 .41 丨糾，例如 

ri iir 1 oi ro.oi oi 
1-0 0 几 -0.99 0 」 = L o ( J 」. 

利用到目前所讨论的舍人误差结果，不难得到-些范 数界. 如果我 
们考查浮点矩阵乘法的1范数误差，则容易从 4.18) 证明 
II fi(AB) - AB || 】 < ⑽ II A || j II B II 上 + Oiu 2 ). 

(2.4.19) 

2.4.9 向前和向后误差分析 

上面给出的舍人误差界都是由“向前误差分析”所导出的■另一 
个刻画一个算法舍人误差的方式可通过称之为“向后误差分析”的 
技巧来实现.在此情形下，舍入误差是关于问题的数 据而不 是关于 
解作 为一个例子，考虑 n = 2 时的三角矩阵相乘■可以证明： 

r { 1 + t'l ) ( 。 11 心 12(1 + 芒 2 )十 办 22 (1 + (，))(！■ + “)"! 

= L 。 [ 

其中 k I 0 1:5),但是，如果我们定义 

^ “11 a 12(1 + e 3 )(l + 

^ _ 0 “22(1 十 e 5 ) 」 

和 
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^ fhiU + q) ~2(1 十 £2)(1 + e 4 )l 

^ 0 622 J 

则容易证明 _/ Z (站 ）= M , 而且 

A = A + E , I E |<2« \ A \ + 0( u 2 ); 

B = B + F t | F |<2 w | B |+ OU 2 ). 

換句话说，计算的乘积是稍加拢动后的4和 B 的精确乘积. 

2*4.10 Strassen 乘积的误差 

在 1.3.8 节我们简述 TS _ en (1969) 提出的一种非常规矩阵 
相乘过程.比较该方法和§ 1.1 的其他常规矩阵相乘方法之舍人误 
差的影响是有益的. 

可以证明， Strasaen 的做法(算法 1.3.1) 产生的 C = y ?( AB ) 满足 
一个形如 （2.4.19) 的不等式，这在许多应用中就足够了.但是， 

Strassen 方法所产生的£并不总满足形如 (2.4. 的不等式.为看清 
这一点，假定 

「0.99 0.00101 

A = B = 

LO.OOIO 0.99 」 

以及用2位数浮点运算执行算法 1.3.1. 除了其他值,算法计算下列 
值： 


P 3 = (0.99(0. 001 -0.99)) =-0.98, 

P 5 = ^7((0.99 + 0.001)0.99) = 0.98, 

芒 12 = rah + h) = 0.0 ， 

而精确计算有 c 12 = 2(0.001)(0.99) =0.0198, 所以，算法 1.3.1 求 
出的 c 12 没有一位正确有效数字 . Strasaen 方式在此例中有麻烦是因 
为非对角线元素小而对角线元素大.注意，在常规的矩阵乘法中^2 
W hl ， a u 和 a 12 不会相加，因而非对角线元素的在计算中不会被忽 
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视 .事实上，对上述 A 和 B 常规矩阵的乘将给出 f 12 =0.020. 

不能按元素准确地算出亡在一些情形下是非常严重的缺陷.例 
如，在 Markov 过程中，\， 6 f；/ 和 q 楚转移概率，故是非负的，如果 
代表所考虑问題中某特别重要的概率,则精确地计算它就可能是至 

关重要 .注意 ，如果和则常规的矩阵乘法计算出的 C 按 
元素有小的相对 误差： 

\ C ~ C \^： nu \ A \ \ B \ + G(u 2 ) = nii I Cl + 0(w 2 ). 

上式是由 (2.4.18) 得到.此关系式对 Strai?seri 方法并不一定对.因而 

对 T 非负矩阵相乘需要比较精确计算〜时，算法 1.3.1 并不是很好 
的， 

从上面讨论延伸，我们得到两个很显然却重要的 结论： 

• 不同的方法计箅同一量可产生很不同的 结果； 

• 一个算法能否产生满意的结果取决于所述问题的类型以及 
用户的目标. 

这些观点将在下面的各章中给以阐明，它们与算法稳定性和问 
题条件等概念是紧密相关的. 


习 題 

2.4.1 证明，如果 (2.4.7) 应用于3^1,则片 UM = i T i(l + £ 山其中 

| d I ^ RU + 0( u 2 ). 

2.4.2 证明 (2.4. 3)， 

2.4.3 证明，如果 则 || |£| || E|j 2 .此结果 

对于从绝对值界导出范数界是很有用的. 

2.4.4 假设存在一平方根函数满足 e ) 其中 | 

给出一个计算II 2 的算法并估计误差界. 


2.4.5 假设 A 和 B 都是三角#点阵，如果亡=夕（為8)是用 

§1.1 中的常規算法所计算，问是否有 C = M, 其中义 和云分 别靠近4和 B? 
2.4.6 假定 A 和 B 是浮点矩阵, A 非奇且满足 || \ A ~ l \ UI || „ = 
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r. 证明：如果 iUAB ) 是用 §1.1 中的任何算法求解，則存在备使得 t 二 

、 B 且 II II || B \[^ + 0 ( u 2 }. 

2.4.7 证明 （2.4.18). 


本节注释与参考文献 

对丁舍人误差的一般介绍，我们推荐 
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. 1W. 所 uf( 1978) ， “A Portable FORTRAN Program to Fihd thr Euclidean Novm of a Vec- 
tor’ T . ACM Trans, math. Soft. 4,15 — 23, 

关 f St rassen 算法以及其他线性代数“快速”方法的分析，（见 
R[ P- Brent(1970). ^Errur Analysis nf Algorithms for Matrix Molliphcatian and Triangular 
Dcoompositton Using Winofjrsd^ Identity, "iVw^r. Math , J6.145 — 156 
W MilleK 1975). ^(^ornputEitional CWipicxity and NumencaJ Stability, "SIAM J . Comput¬ 
ing 4 

N. J 」 Hi^ham( 1992). ri Stability of Method for MuJtiplying Conple^ Matrices with Three 
Real Matrix Multiplications , n SIAM J Matrix Ami. Apjfi - 13 ,681 — 687, 

J. W. Demintfl and N, J. Highjma (1 992 ) . "'St ability uf Block Algor ilium with Fast l^evelO 
BLAS, f， ACM Trans. Math. Soft. 1H,274—291. 

§2.5 正交化与 SVD 

正交化在矩阵计算中起非常重要的作用.给出一些定义之后 
我们证明极其有用的奇异值分解 （ SVD ). 除 f 其他作用， SVD 使 
我们能巧妙地处理矩阵秩的问题.秩的概念,在精确运算下虽然十 
分清楚，但在有误差情况下以及扰动数据下就很微妙了.利用 
SVD ， 我们可以引人实用的数值秩的概念. 

2.5.1 正交性 

'组向量丨心，…，％丨是正交的当对任意/ 7^都有 
= 0 .如果： = ^ 则称为单位正交.直观地说，正交向量是 
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最无义的，因为它们指向完全不同的方向. 

p 中一组子空间 S ' ，…， S p 称为相瓦正交的，如果对 i 本 j 
都有的正交补是由 

5丄 = e 广：/工二0, vx e s 1 

所定义，不难证明 ran ( i 4)〜 = null ( i 4 T ). 如果向量 v 11 , v k 是单位 

正交且张成中的 f 空间 S , 则它们形成 S 的一组单位正交基. 
如果满足 = L 则称其为正交的.如果 G = 
，…4„]是正交的，则％形成义 w 的单位正交基.总可以把一 
个基扩充到又 m 上的一组完整的单位正交基. 

定理 2.5.1 如果 v ^ eiR "^ 具有单位正交列，则存在 v 2 e 
5: nXU _ d 使得 

V = [Vi V 2 ] 

是正交的.注意到 ran ( Vi ) 丄= ran ( V 2 ). 

证明这是初等线性代数的基本结果，它也是我们在 §5.2 
中给出的 QR 分解的一个推论. □ 

2.5.2 范数和正交变换 

2范数在止交变换下是不变的，这是因为若 Q t Q = L 则 
II Qx || 2 - x t Q t Qj : = jr T x = [[ J ： II2 .矩阵的 2 范数和 Frobenius 
范数关于正交变换也是不变的，特别的，对于维数适当的正交阵 
Q 和不难证明 

II QAZ || F = I ! A || F (2*5.1) 

和 

il OAZ || 2 - || A II 2 - (2*5.2) 

2.5.3 奇异值分解 

上两节介绍的有关范数的理论可用来证明极其有用的奇异值 
分解- 

定理 2.5,2( 奇异值分解 （ SVD )) 设4是实 mXw 矩阵，则 


T7 ， 



必存在正交阵 

u - [〜 ，…，和[= [ Vi ，…， k ] e」^ xn 
使得 

U l AV — diagh ， … ， <r p ) G R fflX,) f p mini m ， n i ， 

证明 令工 eT m y € R m 是满足 At = ”（0; || A || 2 ) 的 
2 范数意下的单位向量.从定理 2.5.1 知，存在和 
L / 2 eR m>：U_1 )， 使得 V =[^ V 2 ] eR " x "和 17= [: v C / 2 K : iT x ™ 
是正交的，不难证明 l / T AV 有如下结构 



由于 


l Ai (:)!>( ff2 + ’ 

我们有 II A ! II IX ( T 2 + zv T zv ). M ( T 2 = II A H = II ^1 II !，故必有 
w = 0 .用很显然的归纳法即可证明定理. □ 

A 是 A 的奇异值，向量 Ki 和％ 分别是第；个左奇异向置和 
第/ 个右奇并向量，通过比较 AV = (7 X 以及 A T t /= VE t 的对应 
列容易验证 

Av t 二 a t Ui | 

T r r = 1 ： mill \m ,n \. 

A v Ui = Oi'Ui) 

采用如下表示奇异值的记号是方便的： 

ffl ( A ) = A 的第 i 大竒异值， 

^(>4) = >4的最大奇异值， 

^ CA ) = A 的最小奇异值. 

矩阵的奇异值正好是由 E=\Ajo ： || X ll 2 = ll 所定义的超椭球 E 
的半轴之长. 


- 78 * 




例 2.5.1 


A = 


0.96 

1.72' 

二 U£V 

r 

-2,28 

0 . 96 - 

1 


ro .6 

- 0 . 8 ' 

IP 0 ]f 

U 8 

Lo .8 

0.6 - 


0.6 


0.6 ' 
— 0,8- 


SVD 深刻揭露了矩阵之结构.设 A 的 SVD 由定理 2.5.2 给 


出，我们由 

cr t ^ ' > cr r > ( T r +i = 〜=% = () 

定义 G 则 

rank( A ) = r , (2.5*3) 

null(A) = spanl % 十 1 ,i ， (2.5.4) 

ran( A ) = span 丨 w L ， …，丨 ， （ 2-5.5) 

以及有 SVD 展开 

、 A = S OiUiv }, (2.5.6) 

r =] 

许多 2 范数和 Frobe n i US 范数性质与 SVD 有关.设 A G n ，则 
|| 4 || } = (j? 十 … + , p = mini m,n \ , (2.5.7) 

II A [| 2 ^ » (2.5.8) 

= A (m »， (2*5.9) 


2.5.4 细 SVD 

设 A = UUV T € R mXn 且 A 的 SVD 是 .则 

A = 

其中 

Ut = U(-A : «) - Ui ，…， w„] e R mX % 

以及 

Xi = 2(l ： n,l ： w) = diagCfT! ,(T r ) 6 R nX .' 
我们把这个常用的 SVD 的缩小形式称为细 SVD . 
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2.5.5 秩亏与 SVD 

SVD 最有价值的方面之一是它帮我们很好地处理矩阵秩的 
概念.线性代数中许多定理具有 形式： “如果这样那样的一个矩阵 
满秩，则这样那样的一个性质成立这类结果虽然简结和完美，但 
出现几乎秩亏时不能帮助我们解决所碰到的数值困难.舍人误差 
和模糊数据使得秩的确定很困难.事实上，对很小 e ， 我们可能感 
兴趣矩阵的 s 秩，其定义为 

rank ( A , £ ) = ^^ rank ( B ). 

这样，当实验室得到的 A 的每一元 i 〜具有楕度 ±0.001 时，考 
査 rank ( A ，0.001) 就是很合理的.基于同样的考虑，设 A 是 
浮点矩阵，当 rank(A , e ) < min 1 m y n\(e = u || A II 2 ) 时，则可认 
为 4 是数值秩亏. 

数值秩亏和 e 秩由 SVD 很好地刻画，因为竒异值可表明一个 
给定矩阵与比其秩低的矩阵之靠近程度. 

定理 2.5.3 设 A 心的 SVD 由定理 2.5.2 给出.如果是 
< r = rank(A ) 且 

k 

= S (2.5.10) 

i ="■ 1 

则 

_ B II 2 = \\ A - A k \\ 2 = ^ k + i - (2.5.11) 
证明由于 t/ T ^V = diagCq ，…， q ，0, …， 0) ， 从 rank ( ) 
= 丨和 U T (A - Aj V = diag (0, …， 0，々 + 1 ，…， ％) 可知 \\ A - A k 

If 2 = : +1 ■ 

现偎定对某一 B 6 R m x " 满足 rank ( B ) = k . 则存在单位正交向 
量使得 nulKBhspanUi ，…， 丄利用维数可知 
span I x I fl span! 〜， •■■ ， v k+i i ^ {Of , 

令 z 是这一交集中的一个 2 范数单位向量.利用= 0和 

*+1 

4怎= 2 Oi ( vjz ) u it 
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我们有 


II A - B || II (A-B)z\\l = II || | 

=S ^ 2 i(vjz) 2 > (T 2 k + [ . 

i = \ 

于是定理得证. 口 

定理 2.5.3 表明 4 的最小奇异值是从4到所有秩亏矩阵集 
合之2范数矩离.还可知，中满秩矩阵的集合是开的而且是稠 
密的. 

最后，如果 r E = rank (A ， e ) ， 则 

> "• > (T r > £ > '+1 > … = mini m f n \ . 

在 § 5-5 和 § 12.2 将进一步讨论数值秩. 

2.5,6 酉矩阵 

在复数域上，对应于 it 交阵的是酉矩阵.确定地说，如果 
满足 2 h 0 - QQ h = /则称其为酉的.酉矩阵保持2范 
数.复矩阵的 SVD 涉及到酉矩阵.设则存在酉矩阵 tJ 
和 VGC nX?I 使得 

V h AV - diag(crI ，…， cr p ) € xn ， p - min {m t n \ ^ 

其中 


习 题 

2.5.1 证明：如果 S 是实的且; S T = -5,则 J - S 是非奇异旦矩阵 （ J - 
SKKf + S ) 是正交的 - 这称之为 S 的 Cayfey 变换. 

2.5.2 证明一个正交的三角矩阵必是对角的. 

2.5.3 证 明：设 ㊀ 旧“且 G = Q ] 十 iQ 2 是酉的，则 2 nX 2 n 实 

矩阵 

z=[ Gl - fi2 l 

Lgz c?l-I 

是正交的. 

2.5.4 证明 （2.5.3) 〜 （2.5,9) 
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2.5.5 证明 


^⑷'二 ‘ 

2 . 5.6 对于 2 X 2 矩阵 j %导出依赖于災和 z 的表达 

L y y 」 

式 AmM ) 和。-(為）. 

2*5.7 证明 3 R m ^ 中任何矩阵都是满秩矩阵的极限. 

2.5.8 证明，如果 的秩为《，则 II A ( A r A )- l J 4 T ll 2 = l . 

2.5.9 什么矩阵是在 Frobenius 范数意义下最靠近 

A - f 1 的秩1矩阵？ 

2.5.10 证明 ：如果 ，则 IU !l f <^ Ma ) H A II 2, 因而将 

(2.3.7> 加强了. 


本节注释与参考文献 

Foraythe 和 Moier(l%7 ) 很好的描述了 SVD 在 = A 问题分析中所起的作用.他 
们关于分解的证明比我们的要更传统，利用 r 对称矩阵的恃征值理 论关于 SVD 的历 
史性文献有 

E. Beltrami(L873). ^Sulle Funzioni Rilineari f w Gicmale di Matke7^utich€ H .98 — UI6. 

C. Eckart and G, Young(1939). **A Principal Axis Transfermatioii for Non-Hermnian Ma- 
tricesAnwr, Matk^ 45,118 — 121 r 

G. W. Stewart(19^3). “On the Early History of the Singular Value Decomposition, ^SIAM 
Re'vieu} 35 ， 551 — 566 - 

科学计算中最重要的进展之一是在箝要对矩阵秩很好处理的实用领域中 SVD 的 
曰益增加的应用 . 实用的范围是蛊著的，最有趣之-是 

C-B.Mder and D. Morrison (1983), 14 Singular Vduc AraJysis of Cryptograms, ^ Amer, 
Math. Moalhly 90,78 — 87, 

关于将 SVD 推广至 Hilbert 空问，可见 

].C Gohberg and Krein(19fi9). Introduction ^ the Th&iry of Linear Non-Sdf Ad- 
joi?u Operators ^Amet.Math, Soc. f Providence,R. I. 

F ， StvnthiestiyTfl). Integral Equatims ,Cambridge University Press, Cambridge, 

当扰动矩阵有约束时，类似于定理 2.5.3 将矩阵降秩的讨论可见： 

J r W r Demirijel{l9 f 87). “The smallest j>erturbation of a submatrix whic^ lowers the rank and 
constrained total least squares problems,SIAM 上 Numer • Anal ， 24 、 199—206 ， 
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G, A. WataonCl988). "Tht? Smallest PerturWtion of a Submatrix which Lowers the Rank of 
the Matrix ^ s> IMA J . Numer. Ayml. 8 r 295 — 304, 

§2.6 投影与 CS 分解 

如果计算的任务是算一个矩阵或一个向量，则范数在判断答 
案的精度或者是度量迭代的进程是有用的.如果计算的任务是求 
—个子空间，进行类似的判断和度量就需要量化两个子空间的距 
离.关于这方面，正交投影尤为重要 .给出 简单概念之后我们将讨 
论 CS 分解.这是一类似于 SVD 的分解，在比较两个子空间时很 
方便.我们从正交投影的概念开始. 

2.6.1 正交投影 

设是子空间，如果戶满足 ran ( P )-5 f P 2 = P 
和 P T = P ， 则称 P 是向 S 上的正交投影，从定义容易得知，如果 
则 Px ^ S 且 （ J " — S 丄， 

如果心和 P 2 都是正交投影，则对任何有 
II (Pi - P 2 )z\\l - (P^) T (I - P 2 )z +- (P 2 z) t (I - POz. 
如果 ran( Pj) = ran(P 2 ) = S , 则上式右端项为零 ，故 知一个子空间 
的正交投影是惟一的.如果…，叫]的列是子空间 S 的一 
组正交基，则容易证明 P = W T 是向 S 上的惟一的正交投影.特 
別地，如果非零向量 T^R m ，则 P = 1 W T /-U T V 是向 S = span| r 1 的 
正交投影. 

2.6.2 SVD 相关的投彩 

有几个重要的正交投影与奇异值分解有关.设 A = U £ V T 是 
A 的 SVD 且 r = mnk ( A ). 如果 t ； 和 F 的分划为 

V =[U r U r ], V = [V r V r ] t 
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则 


VrVj 是向 nuil(/l ) 丄二 ran(^4 T ) I: 的正交投影 . 
是向 null(A) 上的正交投影 . 

是向 ran(,4) 匕的止交投影 . 

是向 ran(A ') } = nulI(4 T ) 上的 IT_ 交投影 . 

2-6.3 午空间之间的距离 


子空间与正交投影的 一一 对应使我们能导出子空间之间距离 
的概念.设和 S 2 是 : R ra 中满足 dim ( Sj ) = tiin ( S 2) 的两个子空 
间.我们定义这两个子空间之距离为 

( listGSi ，、） = II Pj - P 2 IJ 

其中 P t 是向 S , 上的正交 投影. 两个子空间的距离可以用某正交 
矩阵的分块来刻画. 

定理 2.&1 设 

^ = [^1 W 2 ], Z - [z, z 2 ] 

k n-k k n-k 

都是 正交矩阵，如果 S 2 = ran(Z ] ),m 

dist(S tt S 2 ) = II WjZ 2 Jl 2 = j| ZfW 2 || 2 . 

证明 

dist(S lt S 2 )= || W L Wj - Z x Zj IJ 2 

=II - ZiZj)Z |[ 2 


r ° 

评 A 

L - Wjz x 

0 _ 


注意到和 WjZ 2 是正交阵 

[啦 WjZ 2 l ^ 

Lq 21 Q J [ w T Zi |^ Z J- WZ 

的子矩阵，我们需要证明 II Q 21 II 2= || Q 12 II 2 .由于 Q 是正交阵， 
故知 
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Q 




Qn ^ r - 

LQ 21 工」 


即 

I = II Q n jr il 2 ^ : l C?2i^ II 2- 

对^中 2 范数意义下所有单位向量 i 都成立.于是 

II Qn II 2= max II Q 21 j- II 1 = 1 - min || Q [V x \ \ 

II J II 2 = 1 I J I 2 = 1 

=1 - ( Q 】 i ) 2 - 

类似地，讨论 0 T (也是正交阵），可以证明 

II Ql2 il 2 = 1 - ^min(Qfl)% 

因而 

II Qu\\i= ^n(Qn} 2 - 

所以 It Q 2i II 2= II Qn JI2 - □ 

注意，当 Si 和 S 2 是 E / 1 中同维的 f 空间时，则有 
0 <dist(S jT S 2 ) < t. 

上式当5, = 5 2 时左边等号成立，当乒⑻时右边等号成 
立. 

对上面给出的 a 矩阵分块形式的更精细分析对子空间之距 
离能提供更深人的了解.这需要对正交矩阵进行特殊的 SVD 型分 
解 ■ 


2.6.4 CS 分解 

正交矩阵分划成 2 X 2 形式下的块矩阵与 SVD 密切相关.这 
是 CS 分解的基本点.我们先证明一个很有用的特例： 

定理 2.6.2 (CS 分解(细形式 ）） 考虑矩阵 
rQii 

Q = ^ ， a 6 e m Xfl ， 

l y 2 」 

其中的列是单位正交的，则存在正交矩毕 
UiG R , rt i Xrn i , 17 2 GR^ x m 2 和 V l G^ x "使得 
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其中 


以及 



° l[ ai k = H 

17 2 」1殳 2 」 IS 


C - diag ( cos (沒，…， cos (0 ， 
S - diagCsind) ， … ， sin(0 n )), 


0 < A < 心 < … ^ y ■ 

证明由于彳；1 2 <11 Q 112 = 1,0^的奇异值都位于 [0, 
1] 区间，令 

^iQi Vi - C = diag ( £■、，.‘，(：„) 

TV 

L 0 £ Jwi — i 


是 A 的 SVD ， 其中 

l = Cl ~ = c t > c t+l >'■><：„ > 0 - 

为完成定理之证明我们需要构造正交矩阵 t / 2 .如果 

Q 2 y , = [ w 4 ], 

t n — t 

则 


-[/] 0: 

\Qi] 

飞 

0 _ 

0 I mi 

[ J Vl = 

0 

r 

L 2」 

Wi 

1 


由于此矩阵之列向量都是单位向量 . WfO .由于 

Wjw 2 = -r T £^diag(l - c 2 t+lr -A - c\) 

非奇异，知妒2的列向量非零且相互正交.对々二1:«令& = 
\/ 1 - ，则 

z =说 2 出明（1/知 +1 ，..，1/：0 

的列向量是正交的.利用定理 2.5.1 知存在正交阵 t / 2 eJR ^ Xn, 2 
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使得 = z .容易证明 

- diag(Si ，…， 

由于 c i + 4 = l 对1:,,都对，这些量正是所需要的余弦值和正弦 
值. 口 

用同样的技巧可证明如下更一般的分解结果. 

定理 2.6.3(CS 分解（一般形式 ）） 如果 


Q = 


Qn ： Q\i 
Q21 Q22 


InXn 正交阵的任意 2 X 2 分划，则存在正交阵 


V = 



0 

U2 


和 V 



0 

V 2 


使得 


u t qv ^ 


7 

0 

0 

0 

0 

0" 

0 

C 

0 

0 

S 

0 

0 

0 

0 

0 

0 

I 

0 

0 

0 

/ 

0 

0 

0 

S 

0 

0 

- C 

0 

-0 

0 

I 

0 

0 

0_ 


其中 CscliagUt ，…，(： /> )，$ = [1【吗0 1 ，**.，4)且 ( Kq + 


证明详细证明可见 Paige 和 SaundersCiggl). 零矩阵的维数 
没有给出.这些零矩阵有些可能是空的. □ 


此分解的重要信息是, Q,：； 的 SVD 分解是密切相关的. 

例 2.6.1 矩阵 



0.7576 

0.3697 

0,3838 

0*2126 

-0.3112" 


- 0.4077 

- 0.1552' 

-0.1129 

0.2676 

0.8517 

Q = 

-0.0488 

0.7240 

- 0.6730 

-CL 1301 

0.0602 


- 0.2287 

0,0088 

0.2235 

- 0.9235 

0.2120 


_ 0.4530 

0.5612 

0.5806 

0-1162 

0.3595 J 
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是正交阵，它在上面的分划下可化成 


u t qv 


0.9837 

0.0000 

0.1800 

0.0000 

0*0000" 

0.0000 

0.6781 

0.0000 

0.7349 

0.0000 

0.0000 

0,0000 

0.0000 

0.0000 

1.0000 

0.1800 

0.0000 

- 0.9837 

0.0000 

0.0000 

ihOOOO 

0,7349 

0.0000 

- 0.6781 

0.0000」 


这些余弦值及正弦值所对应的角度在许多应用中是很重要的.见 
§12.4. 


习 题 


2.6.1 证明 ：如果 P 是正交投影则 (2 = J -2 P 是正交的. 

2.6.2 正交投影的奇异值是什么？ 

2.6.3 设 SpspanUl 和= span 丨〆，其中 j : 和: y 都是 W 中的2范 
数申位 向量.只用 dist 的定义证明 di^(S 卜 S 2 ) = /卜（: rS ) 2 ，故验证了 S, 
与 S 2 的距离是: r 与 y 之间夹角之正弦. 


本节注释与参考文献 


下面文章讨论 CS 分解的不同性质： 

C r Davis and W. Kahan( 1970). “The Rotation of Eigenvectors by a Perturlatioti III/ 1 
S/AM7. Num. Anal r 7,1 — 46. 

G. W. Stewart (1977). “On the Perturbfltion of Pseudo-inverses, Projections and Linear 
Least Squares Problems, ” S/AM Review 1 9,634 —662 」 

C.Ct Paige and M, Saunders< 1981)- “Toward a Generalized Singular Value Deramposi- 
tion, H S/AM J. Num r Atial r 18 , 398 — 405, 

CC. Paige and M- Wd( 19^)4). ^History and Generality of the CS Decomposition, Lin . 
Alg. and its Applic . 208 /209 ,303 — 326. 

一些计箅细节可参阅 §8 + 7 ， 

关于 CS 分解以及子空间距离的深人的几何解释町见 

T, A, Arias,A, Edelman.and S. Smith (1^9&) tt Conjugate Gradient and Newton、method on 
the Grassmfln and Stiefel manifolds,to appear in SIAM J. Matrix AnaJ. Appl. 


* 88 ■ 





§2.7 正方线性方程组的敏感性 

现在我们用以上各节给出的工具来分析线性方程组 Az = b t 
其中"是非竒异的我们的目的是研究4和6的 
扰动如何影响解1.更详细的讨论可见 Higham (1996). 

2,7.1 SVD 分析 

如果 A 的 SVD 为 

rt 

A = XI = U£V l \ 

i — 1 

则 

工二 A -1 6 = (V£V T r l b = 2 — ^ - (2.7.1) 

,=i ^ 

这展开式表明，当 A 很小时， A 或 6 的微小动可导致: r 较大的变化. 

只要我们温习定理 2.5.3 所说，心是 A 到奇异矩阵集的距 
离 ，& 的大小会影响 = 6 的敏感性，这就不足为竒了.当系数矩 
阵接近奇异阵时，从直观上可明显看出，解: r 将对扰动更加敏感. 

2.7*2 条件 

线性方程组敏感性的一个精确的度童可通过研究带参数方程 
组 

(A + eF)o:(e) = b + ef, x(0) - x 
所得到，其中 f e K ' / e 『，如果 a 非奇异，则很明显 / u ) 在 
零的一个邻域里是可微的，而且， i (0) 亡 A - 1 [/- h ]. 于是 ，: r 
( e ) 的 TayLoi ■级数展开具有形式 

x( e) = j: + £i(0) + 0(e 2 ). 

用任一向里范数以及相应的矩阵范数可得 

< Ie | ||^{ + II F Ij 卜 OP ). 

(2.7.2) 
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对于方形矩阵 a ，条件数 Ha ) 定义为 

k ( A ) ; II ,4 || || A " 1 || , (2.7.3) 

在 A 夺异时 WA ) 为 A 从不等式 （2.7.2) 和 IU || A 
II i II 可得到 

H H . II’JL ^ + 阳 ）+ OU 2 h (2.7.4) 

其屮 

&= 1 e 1 ^ = 1 £ 1 a\ 

分别表示 4 和 A 的相对误差.所以， I 的相对误差可能是, IC ( A ) 乘 
以 A 和6的相对误差.在这个意义下，条件数量化了问题 
Ajt . = b 的敏感性. 

注意到4_)取决于所用的范数以及所对应的下标，例如 

心⑷ = IIAH . JU - 1 Il 2 = f ^- ( 2 - 7 . 5 ) 

因此，矩阵 A 的2范数条件数表示超椭球 || _r jj 2 = l 丨的扁 
度. 

我们给出条件数的另外两个特征.对于 p 范数条件数，我们 
有 


_J _ ■ I 叫 | , 

'^( A ) = II A || , 、 2 , 7 * 6 ) 

此结果可见于 Kahan(l%6) .它表明 ％(A) 给出了从4到奇异矩 
阵集之相对范数距离. 

对任一范数，我们还有 


( j 4 ) = lim 


II m 


ifffi 


lU+Mlli- A 


II A 


IU - 1 II 


(2.7.7) 

此重要结果就是说条件数是映射 A^A ― 1 的规范化的 Frechet 导 
数.更详细的讨论可见 RiceC 1966b) .值得提醒的是我们是通过微 
分来导出 WA) 的. 

如果以 A) 大，则称4是病态矩阵.注意此性质是依赖于范数 
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的® .但是上的任意两个条件数 &(•) 和@(*)都是等价的, 
即能找到正常数 q 和 G 使得 

ci/c a (A) < k^{A) ^ c 2 « a (A), A G 
例如，在 R" 〜上我们有 

如 2( A ) ^ «i(A ) ^ WK2(A )， 

如 ) < a: 2 (A ) < rt “(A ) » (2.7.8) 

\fCiiA) ^ ^ n 1 K[{A). 

n 

于是，如果一个矩阵在 a 范数下是病态的，则 它在# 范数意义下 
以上述常系数 Cl 和 C2 为权是病态的. . 

对任何 p 范数， ~(A)>1, 条件数小的矩阵称为良态的.在 
2范数意义下，正交矩阵最良态，因为对正交阵 Q, 有 a (Q) = 1. 

2.7.3 行列式与靠近奇异的程度 


很自然考虑行列式值度量病态的好坏.如果 detCA) =0等价 
于奇异， d e t(4)〜0 是否等价于靠近奇异？不幸的是， det(A) 和 
Ajc ^ b 的条件数几乎没什么关系 ：例如 ，矩阵 


B n = 


0 

-0 



0 … 1 J 


(2.7.9) 


的行列式为1，但《„<4„) = ^12”_ 1 .另一方面，一个非常良态的矩 
阵的行列式可能很小.例如， 

D n = diagClO ^ r - aO " 1 ) e R wXn 
满足々 （ DJ = 1 ，但 d e tO >„) = 10— ' 


注：也依赖亍“大"的定义,这将在 §3.5 中讨论. 
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2.7.4 一个 精确的范数界 

再强调 (2.7.4) 之推导是有价值的，因为它揭游了 k ( A )^ 
2( e ) 在处的变化率之间的关系，但是，梢微不足的是它基于 
e 是“足够小”，而 ft 对 C ) U 2 ) 项之大小没有阐明，在本节与下-小 
节我们讨论一些非常精确的 Aj : 二6之扰动定理. 

首先，我们证明一有 m 的引理，它用 k ( a ) 表明什么情况下一 
个扰动方程组仍是非奇异的. 

引理 2.7.1 假设 

Ar = 办， A ^ e 

(A + BA )y = b + hb ， 5A e ^ e 

满足 fl 糾 II <e II A || 和 || 肋 II II 6 li ■ 如果权 （ A): r<u 
则 A+8A 非奇异且 



证明 由于 il || M 1 || 4 || <1，从定理 2.3.4 

知 U +dA ) 非奇异 ■利 用引理 2.3,3 和等式 G +A 1 dA)y = x + 
A l 8 b 我们发现 

II ^ II < IK/ +A-^A )- 1 II (lull +ellA_ 1 |j || Ml) 
i! ^ II + ^ II A~ l II JU II} 



因为 Ul 卜 IIaHQUII IU ， 故知 

II ^ II ^ ^ 上 r ( II ^ fl + r \\ a: \\ ). □ 

现在我们给出 Ax ^ b 的一个精确的扰动界. 

定理 2.7. 2 如果引理 2.7.1 中的条件满足，则 

II .V ^ -r [| 〆 2 e f - .... 

|| x |1 ( 2 . 7 , 10 ) 

证明 由于 
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y - j: ~ A~ l ^b - A 1 S/tjv T (2.7.1 l) 

我们冇 [II ill f.iu- 1 !! IU l| l|.yl |， 于足 

-Ly ^ il < Ck .( A \ - _ , , k ( a ) “II 

|| J II Ail iLrll 4 汉⑷ II，r II 

€ £ 虻 ( A ) ( 1 + 卜 : ^ j = ( A ) ■ □ 

例 2.7.1 问题丄 r-A 

「10 ]卜]_ [ 1 ] 

Lo KT 6 」 La 」 : w “ 

之解为 x -( m ) 1 且条件数 “ U )= io 6 .如果姑= ( ur 6 , o )， 
sa = o 且 （A i = b f 狀，则 ^v = (1 + 10 6 ， i )， 此时不等式 

(2.7.10) 为 

〖 0_6 = 1 1〕+卜: 

因此， （2.7.10) 的上界可能是扰动所导致的误差之非常粗的估计. 
另一方面，如果肋二 〔10, l ( r f > )， S > l 二0且 （4 +^ A ) y - b 卜孙，则 
不等式 (2.7.10) 为 

in 0 

j|-o < 2 x 10 ^0 6 , 

所以，存在扰动使 (2.7.10) 的界基本上可以达到. 

2,7.5 —些关于分量的精确界 


我们以证明对于分量扰动界存在更精细的扰动理论来结束本 
节.这需要利用绝对值概念. 

定理 2,7.3 设 


Ar - a e '〈 nX \o ^ ^ e 乂％ 


(A +? iA)y b + SA 0 e w , 

以及 I &4 I 和 I 站 |<e I 办 I - 如果汉0=(4)=广<1，则（4 + 

SA) 非奇异且 


II y _ 工 II m 


11 II 


II I a - 1 ! I 4 MU . 


JO 
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证明 由于 IUa II A 和 fl 沾 II II b II oo , 引 

理 2.7.1 的条件在范数为》范数时是满足的.于是 A +5 A 非奇 


异且 



利用 （2.7.11) 我们发现 

I ^ - x [ ^ | A -1 1 I S6 I + | A -1 | | 6A ||)1 
< cU ^ ll 6 U £ U-M Ul Lvl 

^ dA-MUUUk I ^ D . 

两边取范数，则有 

lly - xL < e || | A -'| | A | || M ( lull M + }-rf Ul!»). 

不等式两边同除以 II x II ~ 即得到定理. 口 

我们把量II |A- l | |A| iu 称为 Skeel 条件数.它对儿个重要 
的线性方程组计算的分析非常有用.见 §3.5. 

最后，我们介绍 Oettli 和 Prager( 1964) 的结果，它指明什么情 

形下的一个近似解^ 6 满足给定结构的 
扰动方程组.特别地，£6肤"0和 /e,r 给定且非负.我们寻找 
SAGE " 和奶>0使得 

(A + SA) ^ - 6 + |5A|< zv / E , I 肋 I < - wj \ 

(2.7.12) 

注意，适当地选取 E 和/扰动的方程组可得某特定量.例如，当£：= 
\ A \ 和/=丨糾以及 w 很小时，$满足一个附近的方程组（在向量 
分量的意义下）. Oetdi 和 Prager( 1964 ) 证明了，对给定 A , 6 j , £： 
和/，在 (2.7.12) 中最小可能的 w 是 

\ A £ - b\i 

如果 A 壬二 6 则 — 0. 在另 -- 极端情况，如果议， min = 00 ， 则 i 不 
满足绐定的扰动结构之任何方程组. 
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习 


题 


2*7.1 证明 ：如果 ，1 /_; dW ! UU )> l ， 

2.7.2 证明对仟何给定范数 ，《( AJf )< K ( AU ( B ) a 对任何正数《■有 


r( aA ) — A ) , 

2.7.3 给出 xe 


"(■^>^0 的 2 范数条件数与矩阵 
w xi 和卜 n 


O / n 


的 2 范数条件数之间的关系. 


本节注释与参考文献 


条件数在下面义 章中有 透彻的 讨论： 

J, Ricc(l%fi) r i+ A I ht^ory of Condi 1 . 100 ^ + SMM/ Niuwr Arai . 3 ,287 — 310. 

W. KaVian(l%G). ^Numerical Linear Algebra"，Cariadian Math, Bull. 9，757 — 801. 

关于以分量形式的扰动坪论的参芩文献包括 
W.Qcttli and W, Vr^Lj(l9fA) r “Ccmpatibility of Appruxirn^c SeJunoft. cJ Liitstr Etjualiais wilh 
Gv'en Error Rhuiitfc for (bdTlcicnts Right ffcnd Sides, ’、 Numet'Mzih ■ 6 >405-^409. 

] r E r Cope and B- W. Rust( 1^19 ). "Bounds on : solutions of systems with ac-cur^ic tkta/' 
SMM,r Num- Anal. 16 T 93 () —％ 3■ 

RJ), SkecK 1979) • u Scaling ft>r numerical ^lability in Gaussian Ellminaiiun/'J - ACM 26 > 
494—526, 

J.W. Demmel (1992}. ‘H Componentwise Disiancr tu the Nearest Singular Matrix,” 
SIAM j r Matrix Amii. Appl, 13, 10 — 19 

D. Hi^h^m and J, Higliam ( ]yy2), “Componentwise Pcrturbatioti llioory ^ OT Linear 
Systems with Multiple RighvHanrf Sides/' Un^ A^.and Appik' 174 A \ — \29, 

N. j r Higham( 1994) r '*A. Survey of Cbmponentwise Perturbation Theory in Numerical Lin¬ 
ear AJ^ebrd Muthernati。qf Chrnputalion 1943 — }993 : -4 Half Century oJ Compu¬ 
tational Mathetnatics , W, Gautschi(ed, }, Volume 48 of Proceedings of Symjx^ia in Ap- 
phed Maihetwik^ , America f> Stxiely, PruviJenrc, Rhotlt IsJajid 

S. Chamdrasekaren and I - C -1 1 . Ipsen{ 1995)，“On the Sensitivity of Solution Components in 
Linear Systems of Equations, ’SMJVf J . Matrii Anal r Appi . 16 ,93 — 112. 

条件数之倒数给出了 Ai 二 h 靠近奇穽的程度的 度星知 道一个吋题离一个难的 
或者是不叫解问题的靠近程度之黾要性在许多 计苜屮 足很有帮助的，见 
A, Laub( 1985 ). ^ Numerical Linear Atgebra Aspects of Gxitral Design Com ： Jutations t ” 
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IEEE Tram. Aulo. Gmt. AC 一 30,97 — ]08. 

J r L. Barlow{ 1986), “On the Sn^ilest Positive Singular Valoe t>f an JW- Matrix ^th Applica- 
tions to Ergodic Markov Churns," SIAM J. Aig . and ihsi. Struct ， 7 *414^424. 

J . W. Dernmel (1^87) 44 On the DLstance To the Nearest 111-Posed Ppobltfm,"" Numer. 
Math.51 t 25l—2S9. 

J. W.Efemmci(19S8), “The ProhabiJtt/ xhsi ^ Numerical Analysis Problem Ie Difficult, + 
Math. Comp, 50 r 449—480 - 

N. J 」 f^jsiham( 1989) “Matrix Ntsmess Rnblenris and Applicarifns, v in AfifUkatiom of Murir Tht- 
ary^M. J, C.Cover and S-lfeiTK±t(c<fc),0^uni University Pnes& t QjJ(jni Uk s 1 — 27. 
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第三章_般线性方程组 


§3.1 三角方程组 
§3.2 LU 分解 

§3.3 高斯消去法的舍入误差分析 
§3.4 选主元法 
§3.5 改进与精度估计 

求解线性方程组 Ar = 6是科学计算的中心问题.本章我们集 
中讨论高斯消去法，所选择的算法处理的 A 是方的、满的以及无 
结构的.如果4不是此类矩阵，相关的算法可见于第四、五和十 
章 .Ar = 6的一些并行求解方法在第六章中讨论. 

在 §3.1 我们通过讨沧求解三角方程组之容易来导出高斯消 
去法.然后 §3.2 给出通过高斯变换将一般方程组转化为三角方 
程组，为此引进了矩阵分解的语言.不幸的是，得到的方法对一类 
非平凡的问题表现很差. §3.3 的误差分析指出了困难所在并引 
出了 §3. 4,在那里给出了选主元的概念.在最后一节我们详述了 
关丁 加权， 迭代改进以及条件数估计的些電要的实际问题. 

预备 知识： 

第-章， §2.1 〜§2.5,和 §2.7 是假定读者已知的.其他的 
参考文献包括 Forsythe 和 Moler (1967), SfewarL (1973), Hager 
(1983), Watkins (1991 )，CiaLet ( 1992), Daita ( 1995), Higham 
(19%) ,Trefethan 和 Bau (1996) 以及 Denimel ( 1996). 对本章很重 
要的一些 MATLAB 函数有 Ui ， cotKU C onci 以及反斜线算子“ \ ”. 
LAPACK 的相关程序为 
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LAPACK : 三角方程组 


TRSV 

| 解 1 二 A 

1 RSM 

解 = 

TRCX)N 

条件 数怙汁 

TRRKS 

解 — 给出误差界 

TKTRS 

解 AX 」 J ? f A [ X = B 

TRTRI 

厂 1 


LAPACK ： 一般线性方程组 


—GESV 

解 AX = B 

—GECON 

通过 PA 二佔汁条件数 

_ GERFS 

改进 ax = b ，H = b,a h x = b 之解，给出误差界 

_ GKSVX 

解二 = B ，给出条件数估计 

—GETRF 

PA^LV 

— GETRS 

利用 R4-L[7^AX-B ti 4 T X = B,4 H X-B 

— GETRJ 

A 1 

_GKKQU 

平 衡方程 


§3.1 三角方程组 

经典的线性方程组分解方程涉及到将给定的方的线性方程组 
转化为具有同样解的二角方程组.本节就是关于三角方程组之求 
解. 

3.1,1 向前消去 

考虑如下 2 X 2 下仝角方程组 
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L /21 ^22 J Lx 2 J L 占2」 

如果 “ j 22 #0, 则未知数可依次 确定： 

工1 =办1々11， 

= (h 2 - hi^O^hi- 

这就是称之为向前消去的算法之 2 x 2 形式.通过解= 6的第； 
个方程求出 x , 即可得到此算法的一般形式 

如果对；=1:«计算上式，则 x 有分量都町求得.注意到在第 
i 步需要计算 lg ， iw -1) 与^：(〗」-1)的点积.由于~仅在计 
算 a 的公式中用到.前者可被后者覆盖. 

算法 3.1.1( 向前消去 法：行 形式）设是下三角，6 
'则此算法用 = 的醉覆盖6.假定 L 是非奇异的. 

*(1) = ^(1)/L(1 t 1) 

for f = 2 ：« 

b ( i ) — ( b ( i ) — L ( i »1 - i - 1)6(1: / ^ , i ) 


end 

此算法需要 沪个 fbp , 注意到 L 是按行调用的.计算出来的解工 
满足 


(L + F ) r = ^, I f I < | 7^ | + 0( w 2 }* (3.1.1) 

其证明可见 Higham ( 1996), 这说明计算的解精确满足一个小扰动 
的方程.而且，扰动矩阵 f 的每一个元素都相对于所对应的元素 
来说是小的. 


3.1.2 向后消去 

解 上三角方程组 Ux = b 的类似算法叫向后消去法 . A 的计 
算公式为 


a = ( 乂 - S 社内）〜， 




同样乂 可以被 n 所覆1 

算法 3.1.2( 向 G 消去法：行形式） 如果 U & ，、是 上三 
角 . ' 则此算法用6之解覆盖&假定 t ； 是非奇异， 
bin) = b{ti )/U( 7i ， n) 

for i - 1 ： - I ： 1 

6(0= (Jj(0 - U(i ,i + 1 : ?i)b(i + 1 : n ))/U (f. ， 0 

end 

此算法需要个 flop , U 是按行调用，町证明计算出来的 j 满足 
(17 f F)x - b,\F\^nu\U\ + G(u 2 ). (3.1.2) 

3.1.3 基于列的形式 


交换循环顺序可得到以上算法的基于列的形式：为了从代数 
的角度理解它，我们考虑向前消去，一旦 H 解出来，该变量可从 
第2个至第 7 Z 个方程中去掉，我们可只考虑缩小后的方程组 
U2: ）= 6(2: ”）- ir ( l ) L (2:«， l )， 然后，我们算 

出 _ r 2 .并且从第3个至第《个方程 中大掉 . r 2 ，依此类似.于是，如 
果此方式用 t 


"2 

0 

0, 

r ^r 

「 6_ 

1 

5 

oj 


= 2 

_7 

9 


-U 



则我们有^ =3,然后我们处理 2 X 2 方程组 

匕 X;] 鲁 《=[:U 

以下是利用覆盖的完整的过程. 

算法 3.1.3( 向前消去：列肜式）设 L 是下三角 
心 e . ' 则此算法用 hr = 6之解覆盖&假设 L 是非奇异的 
for j = 1 ： w - 1 

b ( j ) = b ( j )/ L(j , j ) 

6 (j 十 1: h ) ; 6 G 十 1: n ) _ ) 乙 (J + 1 : ) 
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end 

b ( n )~ b ( n )/ L ( n , n ) 

同样，可以得到基于列的 saxpy 算法来进行向后消去. 

算法 3.1.4( 向后消 去：行 形式） 设是上三角， 
'则此 算法用 Ux = b 之解覆盖&假设 t / 是非奇异的. 
for 7 = « : -1:2 


end 

b ( l )^ b ( l )/ V ( lA ) 

注意到算法 3,1.3 和算法 3.1.4 中的主要运算是 saxpy 运 
算.这些 saxpy 型算法的误差表现与点积型算法是基本相同的. 

三角方程组的计算解的精度常常是惊人的好.见 Higham 
(1996). 


3.1.4 多右端项问题 

考虑求满足于 LX - B 之其中是下三 
角，.这就是多右端项的向前消去问题.我们证明此问题 
可用一 分块算 法求解.分块算法在 g 和《足够大的矩阵乘法中是 
经常用到的.这一点在以下几节中讨论各神各样的分块分解算法 
中是重要的，我们指出，虽然我们这单.考虑的是下三角问题，但所 
有我们提到的都可用于上二角情形. 

为得到分块向前消去法，我们把方程 LX = B 分划 如下： 


/川 0 . 

0， 


「xn I 

B, 

^21 [12 ' 

-- Q 



i 

b 2 

i-m * 

，■ J^nnJ 

1 





假定对角块是方的.与算法 3.1.3 的构造类似，我们从 L li X l = 
解出 Xt ，然后第2至第 N 块方程中消去 X 1: 
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^L 22 0 0 - 


x 2 - 


b 2 - L 2 ] X x ~ 

1^32 ^33 - 0 


^3 

— 

^3 - L^X] 

丄 m L N 2 … Ljvn- 


一 


-Bjv - L\^Xi^ 


依次类推我们得到如下分块 saxpy 向前消太-法: 
f or j = 1 ： N 

solve LjjXj = 
for i = j + 1 ： N 
Bi - - 

end 


end 

注意到在纟循环中只有-个分块 saxpy 修正: 


B }+1 




+ 1 ， j 

_ . 


Bn 


- _ 


为了使此计箅在一给定结构下作为矩阵相乘处理，很明显 0.1.3) 
中之分划必须有足够“大”的 '.我们假定正是这种情形每个\ 
至少有 r 行.此时，可令 N = ceilU / rhA ：〗 ，…且 

X N e'3}“ N — L)r) ' 


3.1.5 3级之比例 


在一个给定的算法采用一个度量矩阵乘法的童是便利的.对 
此,我们把 flop 中矩阵乘法所占比例定义为一个算法的3级比例. 
矩阵乘法的 flop 称为3级 flop . 

在假定 《 = 时考查 （3.1.4) 的3级比例.（同样的结论对上 
述非均匀分块也成立）由于有 N 个向前消去（计算中的2级 
的部分），而所有的 flop 数为故知3级比例大约是 
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因而，对很大的 / V 几乎所有的 flop 都是 3 级 flop . 只要所用的计 
算机在处理长度至少为 r - n /N 的分块 saxpy 能达到高性能，应 
该尽可能把/ V 取得大， 

3-1.6 求解非方的三角方程组 

求解非方 mXn 三角方程组 M 题值得一些讨论.首先考虑当 
的下三角方程组，即 

C Lll lx = fbl ] Lu e 一、 

假定是下三角且非奇异.如果我们将向前消去法用于二 
，则知只要 L 2 ,( L ^ b ,) = b 2 x 就是方程组之解.否则，整个方 
程组无解■在此情形下，或许最小二乘解是合适的.见第五章， 

现在考虑在列数 n 大于行数 w 时的下三角方程组 Lj ： = 在 
此情形利用向前消去法求解 L (1 : m ,丨： (1 : m ) 二6可得 
文（1:切）但1(/« + 1: «)是任意的，见 §5.7 关于变量个数大于方 
程个数的更多的讨论. 

处理非方的上三角方程组是类似的，详细的讨论留给读者. 


3.1.7 单位三角方程组 

单位三角矩阵是指对角线元素合为 i 的2角矩阵.下面要讨 
论的许多三角矩阵计算都有此附加性质.很明显，它对以上的算法 
不带来任何困难. 

3*1.8 三角矩阵的代数 

力以后参考，我们列出 H 角矩阵和单位三角矩阵之乘积以及 
逆的一些性质. 

• 上（下）三角阵的逆是上（下）三角阵. 

• 两个上（下）三角阵之积是上（下）三角阵. 

• 单位上 （下） 三角阵之逆是单位上 （下） 三角阵. 
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_ 两个单位上 （下） 三角阵之积是单位上 （下） 三角阵. 


习 题 


3.1.1 给出一个箅法计算非零向量使得1^ = 0,其中 UG 
是上三角且有 Urtn -0, 

3.1.2 讨论如何计算方矩阵之行列式且能尽可能小发生上溢和下溢. 
3.1.3 改写算法 3.1.4, 假定 U 是按列贮存于长度为》(7!+1)々的数 
组 w . wee 中， 

3.1.4 写出 (3. 1.4) 的详细形式.不假定 N 整除 ^ 

3.1.5 证明 3.1.8 节中列出的三角阵之性质. 

3.1,6 设是上三角且 （ ST _ AJ )： r = 6是非奇异方程组.给 
出一个 OU 2 ) 的计箅 t 之算法.注意 ST-AI 的显式公式需要 0( n 3 ) 个 
flop. 提示： 

1工=广 [ fl , 

Us ：」 Lo TeJ L ~」 

其中 5 + =S (是 一 l : n ， 左 一 l : n)，Ti - T ( k ~ l ^ n f k - l - n ), b t = 
b(k _ l : rt )- tr ， r T p €] R . 证明：如果七满足 

(H XI ) 々二 b” 


以及，则 



7 = 


容— ( TV T X c - u T xv c 

CJT - A 


是 (S.T+ -U)x^ = 之解，注意到 1 十和沈十 = T +J : 十都需要 o(n-k) 
个 flop. 

' 3.1,7 假定矩阵^^，…，"都是上三角阵.给出一个0(/>« 2 ) 
算法求解方程组(仏…心-^^&屬定系数矩阵是非奇异的+提示：推广 
上一问題的答案. 


本节注释与参考文献 


三角方程组的梢度之分析可见 

N, J, 1989 ) r **TTie Accuracy of Solutions of Triangula Systems ”， SIAM J. 

mer.AiiaL 26 ， 1252 - 1265. 
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§3.2 LU 分解 


正如我们刚才所见，三角方程组很“容易”求解.高斯消去法的 
思想是将一给定方程组1 = 6转化为等价的三角方程组.该转化 
可通过方程的适当线性组合来实现.例如，在方程组 
3xi + 5x 2 = 9 , 

6_zi + lx 2 = 4 

中，我们将第一个方程乘以2,并且在第2个方程中减去它则得到 
3j^+ 5x2 = 

— 3j ：2 = - 14, 

这就是《=2的高斯消去法.本节的目的就是对这一核心算法给 
出完整的叙述且用矩阵分解的语言来刻画它.这意味着此算法求 
出一个单位下三角矩阵 L 和一个匕三角矩阵 t / 使得 A = rt /, 即 
■3 5]_ ri 01T3 5 - 

-6 1-IU -3-' 

然后，原始问题 = 6之解可通过两个三角求解过程来 得到： 

Ly — h , \Jjc = y^>Ax — LUx = Ly = h. 

LU 分解是高斯消去法的“高级”代数描述，把■个矩阵算法用矩 
阵分解的“语言”来表达是很值得的.它有助于推广到一般情形 I 衍 
且能掲露算法间的关系，这些算法从标量层次上看可能是非常不 
同的. 


3.2.1 商斯变换 

为得到高斯消去法的分解描述，我们需要消为零的矩阵描述. 
在= 2的水平上，如果 iTT 1^-0 且 Z " 二 X r 2 / Xi ,则 



更一般地，设 且心关 0,如果 
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(0, …， 0,7 ■川，… r r = — f i 二裊 + 1 : H ， 

.. ^ Y — 2'k 




(3.2.1) 


且我们定义 
则 

心 T = 


型如”的矩阵在 rG . P 的前6个分量都为零时 
一般称为高斯变换.这样的矩阵是单位下二角的 . rU + 1:幻的元 
素称为乘 r . 向量 r 称为高斯向量. 


"1 ■ 

' 0 

0 

… 0 1 

丁 1 



0 

1 

0 

-. ‘ 0 





0 


1 

0 


年 1 


a 

_0 . 

■ _ % 

0 

… 1 _ 


-A J 


- 0 - 


3.2.2 作用高斯变换 


用高斯变换相乘特别简单.设 ce.ir ^和吨 = j-rq 是高 
斯变换，则 

M k C = (I - reJ)C = C - r(eJC) 

=C - rC ：( k y ：). 

是一个外积修正.由于 r(l 1)=0,故只有 CU + 14，：） 受到影 
响，修正 C = M k C 依行计算如下： 
for i - k + \ '• n 

Cii , ：) = CU , ：) - r ( CU, :) 

end 

此计算需要 2U_l)r 个 flop. 

例 3.2.1 



1 

4 

T 


「 0 _ 

c - 

2 

5 

8 

, r = 

1 


3 

6 

ia 


-一 1- 
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/ - rp,)C = 


卩4 7: 

1 1 r 

-4 10 17」 


3.2.3 高斯变换的舍入误差性质 


如果 f 是髙斯向量 r 的汁算值，则容易证明 
t = r + e , I ^ K « I r | . 

设？用于高斯变换修正且. /7( U -& I ) C ) 是计算值，则 
fl(U - reJ)C) - (/ - reJ)C + 

其中 

|£|<3«( C |+ | r | \ C ( k , ：)| ) + G ( u 2 ). 

很明显，如果 r 有大分量，则修正的误差与 I C I 相比可能很大，基 
于此，进行高斯变换时要小心，这一点将在 §3.4 讨沦. 

3.2.4 上三角化 

设 a e j ：；' nXn . 通常可找到高斯变换，…，使得 
t ； 是上三角阵.为说明这一点，我们看一个„=3 

的例子.假设 

14 7- 

A = 2 5 8 . 

3 6 10l 


M y = -2 1 0 

--3 0 1」 

则 


M,A - |0 


4 7' 

_ 3 — 6 

- 6 - 1L 


.lt)7 • 




同样地， 


1 0 01 ri 4 7 1 

M 2 = 0 1 Q ^ M 2 ( MiA )= 0 -3 -6 ■ 

_0 - 2 1 」 -0 0 1 - 

从此例可看出在第々步 

• 我们得到的矩在第1列至第々_ 

1列是上三角的 

*M k 的乘子是基于 A u UU + lDfe ). 特别地.我们需要 
4 _1) 视 

注意到 n -1 步之后就可完成上三角化.所以我们有 
k - 1 

while(A (々 J) ^0) & (jfe -\) 

z(k + 1 ■■ n) ^ A(k + 1 : n)/A{k,k) (3.2*2) 

/\(々 + l : w ， ：) = A( ^ + 1 : n ■, '■) ^ t{k + ] '■ n )A.{k , : ) 
k — k + 1 

end 

必须检査以避免除零.这些量 （ AU ，々）） 称为主元，它们 
的相对大小是至关重要的. 

3.2.5 LU 分解 

用矩阵语言，如果 (3.2.2) 当 k = n 时终止则它算出高斯变换 
，…，使得 Mt 「，. M t A = t / 是上 三角 . 容易验算如果 
M k = I - 则它的逆为3/^ = 1 + r ( k ) el 因而 

A = LU, (3.2.3) 

其中 

L = Mr 1 …对;;1卜 （3.2.4) 

由于 M " 是单位下三角，故很明显 L 是单位下三角矩阵，分解 
(3.2.3) 称为 >4的 LU 分解. 

正如 (3.2.3) 中需要检査零主元所示， LU 分解可能不存在. 
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例如，不可能找到 L 和％ 使得 

1 2 3] 「1 0 01 卜 11 « i 2 

2 4 7 - In 1 0 0 W22 « 23 . 

-3 5 3 - _^31 ^32 1 _ _ 0 0 « 33 - 

为说明此，我们让对应元素相等，发现 《 n = l ，~2 = 2，/ 21 =2， W22 
;0 和 / 31 = 3.但是，当比较两边的（3,2)元素时我们得到一个矛 
盾方程5 = / 3] u 12 + / 32 w 22 = ^ ' 

正如我们将证明， （3.2.2) 中出现零主元与奇异主子矩阵是等 
价的. 

定理 3,2,1 如果对 行列式 tkt ( A ( l : Ll :) O ^0, 

则 A 有 LU 分解.如果 A 非奇异 且存在 LU 分解，則 LU 分解是 
惟一的且 det ( A ) =叫… w nrt . 

证明 假定 (3.2.2) 的前 fc -1 步已完成.在第 A 步开始前 A 
已被 覆盖. 注意到是第是个主元，由 
、于高斯变换是单位下三角，从该等式的主 k y 、 k 部分可看出 
<^(4(1:々，1:是））=«匕 _1 ).-«2 _1> ‘所以，如果 A (1:々，1: jO 非 
奇异，则第个主元非零. 

至于惟一性，如果 A ^ LiU ^ A = L 2 U 2 是非奇异阵 A 的 
两个 UJ 分解，则由于 di 是单位下三角而 
t / 2 Uf 1 是上三角，故知这两个矩阵都必须是单位矩阵.因此= 
Lj j t/i = t / j . 

最后，如果 A = Lt /, 则 det(A ) = det(LL0 = det{ L )det( t /)= 
det( t/) = u n -''u njty □ 

3,2.6 一些实际细节 

从实际应用的角度，对 (3.2.2) 能有几种改进，首先，由于从第 
t 列至第々 -1 列已化为上三角，高斯变换只需作用于从第6列至 
第《列.当然，我们不需将高斯变换作用于 A (:，々） ，因为其结果 
是知道的.另一个值得观察到的是对应于 M 的乘子可储存在已 
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消为零的位置，即 A(k + ) 利用这些改动，我们得到 

(3.2.2) 的如下 形式： 

算法 3. 2.1( 外积高斯消去）设满足 A (1; H 左） 
对走=1:« -1 非奇异.本算法计算分解 广 -MM = 17,其中 
(7 是上三角， JW , 是高斯变换 - 17储存于 A 的上三角部分.对应于 
Mi 的乘于储存于 + 即 A(k + \- n , k )= M(k + l ： 

n , k ). 

for 走 =1: - 1 

rows — k ^ 1' n 

A ( rows ， 是 )=A ( rows ? k ) /A (k r k ) 

A ( rows , rows ) = A ( rows , rows ) — ^4 ( mws , k ) ~ A (k ^ 
tows) 

end 

此算法需要 i « 3 fb P , 是高斯消去法的若干种形式之一.注意 
到在 々循环 的每-步中执行的是一外积运算. 

3.2.7 L 存于何处？ . 

算法 3.2.1 以乘子的方式表示确切地说，设 r ⑷是对应于 
M k 的乘子，当算法终止时 A{k + l ： n t k ) = 矩阵计算中的可 

喜的“意外”是，如果 …，则 L(k + l ： n ^ k )^ T (k) . 

这从仔细考査 L 的乘积定义就可得到.事实上 

L= (1 + T (n) eJ)-(I + r U 1) e I- 1 ) 

= i + Sr ⑴ 

Jt=l 

由于 au 十 1: 心幻储存乘子向量 r ⑴的第& 个向量，故知 
AG ， jO 即是 G 对一切都成立. 

3.2.8 解线性 方程组 


一旦 A 已用算法 3.2.1 进行了分解，则 L 和 17 存于数组 4. 
110 - 




然后，我们可用 §3.1 的方法解三角方程组= 6和 Ux = j ， 得 
到 Ax 二6之解. 

例 3.2.2 如果算法 3 . 2.1 用于 


~1 

4 

7] 


1 0 

01 

2 

5 

8 

— 

2 1 

0 

3 

6 

10- 


3 2 

1」 


则完成后可得 


0-3-6 


A 


如果& = (1，1，1 ) T JJ 夕=(1，一 U 0) 1 '是 L：v = 6 之解■再鮮 CXr 



3.2.9 其他形式 


与矩阵乘法一样，髙斯消去法也是一个三重求和，可以有不同 
顺序.算法 3.2.1 中如果外积计算是逐行计算，则它对应于高斯消 
去法的屻形式： 
for 是 =1: k 一 1 

A(k + l^n,k) = A(k + l-n t k)/A(k,k) 
for i = k + V n 

(or j = k +V n 

A{i ,j)~ A{i ,j) ~ A(i ,k)A{k ,j) 

end 


end 


end 

其他的五神形式为 kji ， ik 】， ijk ， jik , 热 片 i . 这些实现方式的后三 
种之特点是一系列的 gaxpy 和向前消去，在此方式下，髙斯变换不 
像外积形式那样马上作用于 A . 事实上，这些变换延后了.在第 y 
步之前，初始的 A (:，））根本就没有动.在算法第 j 步， A (:， i ) 被 
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个高斯变换也求出来了 . 

更精确地说，设1<><打 - 1 .假定 L (:，1 j - 1 ) 和 1/(1 : — 1 ， 
1:)-1)已知，这意味着 L 和 L7 的前 j -1 列已求出来了.为得到 
L 和17的第）列，我们令方程 A = LU 的第列 相等: A (:, j )= 
LU (:, i). 利用此，我们有 

A(1 : j -\J) - L(1 - i - 1,1 ： ^ - l)U(l : j - l ， j) 

以及 

: n J) ^ 人 、' n,k)U(k,j). 

第一个方程是下三角方程组，可从它解出 1/(1 完成此 

之后，可改写第二个方程来计算 L /( i ，）） 和 L(j + l :«， j ). 事实 
上，我们令 

v{j : «)= A(j : n ， j )— 免 L(j : n t k)U(k tJ ) 

k = l 

= A(j : 77 ， j) - L(j : n,l : ; - l)t/(l : J - 1 ，）） ， 
则 L(j+ V-rt t j)= v(j + 1: w)/u(j )， 以及 U(jj) = v(j ). 于是 
计算 + 1: 是一个 gaxpy ， 我们有 

L=/;l/ = 0 
for j = \ n 
if j = l 

v(j-n )二 A(j:n ， j) 

else 

从 解出 £： 

令 ^(1:^-1,;) = ^, (3.2.5) 

v(j' n) = - ~l)z 

end 

if 3 <n 

L(j + l'^n ,j) = v(j + 1 ： 7i )/u(j) 

end 
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end 

髙斯消去法的此形式主要是向前消去和 gaxpy, 它与算法 3.2.1 
一 样需要 fn 3 个 flop. 

3.2.10 分块 LU 

高斯消去法可组织得让矩阵乘法是主要的运算.这一分块形 
式之导人的关键是把 A 〜分划为如下形式 
\A n A n l r 

A = 

LA 21 A 2 2^n - r 
r n — r 

其中 r 是分块参数.假设我们已算去 LU 分解 Au = Lu t/u ，则可 
解多右端项三角方程组 L n f/ 12 = A 12 和 L 31 别得到 

U 12 和 L 21 .则有 

rA n A 12 j_rL u 0 iri, 0 irt/ u u 12 ] 

^21 ^22 J n -r* j - 0 A "I L 0 Jn- r 」 

其中 A = A22 - 1^21 1^12 .矩阵 f 是 Au 关于 A 的 Schur 补阵.注 
意到，如果 A =1,^22^ T 之 LU 分解，则 

■An ^i2i_ r^ii o " r i/u Uni 
■ A21 A 22 J L[21 1^22. L 0 U22」 

就是 A 的 LU 分解.于是当 L nf L 2 lt U n ^ t/ l2 计算出之后，我们 
继续对 (2,2) 块 t 进行3级修正. 

算法3.2.2(分块外积 LU ). 设"且 det ( A ( l :々， l : 是） 
对是 = l : n - l 非零.设 r 满足本算法用秩 r 修正计算 
A = LI 7 .算法完成后，当 i > j 时被 LG ，/) 義盖，当 j>i 
时被 LT (;, j ) 覆盖 ■ 

A = 1 1 

while A < w 

fi = min ( + r - 1) 

用算法 3.2.1 于 A(A : fi t X ： 其 LU 分綷 因子为 £ 和疗 
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解 iz = A(X : - f - 1 ： «) 得到 Z 且用 Z 覆盖 

A{X '• n t pL ^ \ ■ n). 

解 WV - A(p 4 1 : ： / O 得到 W 且用 诈覆盈 

A(m + 1 : n ,X - «)- 

A{^ + 1 : + 1 : h ) 二 /i(" + J : ”，w + 1 : n) ~WZ 

A - /i + 1 


end 

此算法需要个 flop . 

与 3.1.5 节的讨论类似，我们讨论此方法的 3 级比例，假定 r 
足够大.所用的计算机能以 “3级速度”计算矩阵的相乘修正 
A(p + l:7i，p + l:«) = A(p + l:«，" + 1 ;?!)- ■非3级的浮 
点运算仅仅是 r X r 的 LU 分解 A(A-^ t A：^) = Ll/. 在整个计 
算中.二共有 JV 个这样的分解.故知3级比例为 

^ _ N • ( 2 r 3 / 3 ) __ . 丄 
2^/3 ~ 1 

这样，当 iV 很大时几乎所有的运算都是矩阵相乘.正如我们已提 
到■这样就保证了在许多计算环境下算法都是高性能的. 


3,2.11 长方矩阵的 LU 分解 

对长方矩阵可进行 LU 分解 . m > n 时的例子可 
用下 给出： 


而 


_ 1 

Z 


「1 

0 _ 

3 

4 


3 

1 


& 



2 . 


2 3； 

1 _ 

1 0 

5 6」 

卜 

■4 1- 


0 


0 



2 


- 6 


说明了 m < n 的情形.如果 A (11，14) 对6 = 1;111111("，衍）都 
非奇异，则 A ㊀ 俨〜就一定存在 LU 分解. 
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上面关于方阵的 LU 分解算法稍加改动就可用于长方矩阵. 
例如，对 w >； i ， 算法 3.2.1 可修改为 
for ^ = 1 ： « 

rows =走 + 1 ； m 

A ( rows t k ) = A (rows t k) /A(k , k) 
if k<n 

cols = k + l'n 

A ( rows , cols ) = A ( nows , cols ) 

— A ( rows ， k 、 A、k ， ools ) 

end 

end 

此箅法需要仙 ^-« V 3 个 flop , 

3.2.12 —个失败的例子 

正如我们所知，高斯消去法在前《 -1 主子矩阵奇异时不能 
进行.这种情况对有些非常简单的矩阵发生，如 



A 的2范数条件非常好.但它的主子矩阵奇异，故不存在 LU 分 
解- 

很明显，要使高斯消去法有效地用于求解一般线性方程组，我 
们就要对它进行改进.下一节给出的误差分析指明哪些改进是必 
需的. 

习 题 

3.2.1 设 4( e )6 R n>f " 的元素是标 iU 的连续可微函数，假定 A 三 
4(0) 以及它的所有主子矩阵非奇异.证明 ：对充 分小的 e， 矩阵 4(e) 有 LU 
分解 4( e) = LU)tJU ) 且和 t/(e) 都是连续可微的. 

3.2.2 设為^緲“的分划为 

H, 

L ^21 A.2Z -I 
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其中是 rXr 阵.假定 A „ 非奇异.矩阵 SsAn - AdAf / Au 是在 A 中 
7\„的 Schur 补阵.证明 ：如果 A n 有 LU 分解，则算法 3.2.1 执行到第 r 步之 
后 ， A (r + 1:, r 十1: ? j ) 储存了 S . 为什么在〔3. 2.5) 的 r 步之后可得到 S ? 

3.2.3 设"有 LL ! 分解1说明为什么通过计算 《 x („ - hl ) 矩阵 
[4 6] 的 UJ 分解而不储存乘子就可求解 Ax t 6. 

3.2.4 叙述一个变形的高斯消去法.它按 -1:2 的顺序将 A 的列消 
去.从而得到分解4 =弘，其中1/是单位上三角阵， L 是下三角阵. 

3.2.5 : iT “中形如二的矩阵称为高斯-若尔 
当变换.⑸假定 N (; y ，々疒 1 存在，给出其公式. （ b ) 给定 _rG V ，什么条件下 
存在 y 使得 (c) 给出一个应用髙斯，若尔当变换的将 A 用 
A — 1 覆盖的算法满足什么条件下方法能保证成功？ 

3.2.6 将 (3. 2, 5) 推广到4的行数大 F 列数的情形. 

3.2.7 说明 （3.2.5) 中 A 可被 L 和 t ； 覆盖.重新组织三重循环使得对 
数据的读取是整体间. 

3.2.8 给出高斯消去法的一种形式，其三重循环之最内层是点积计算. 


本节注释与参考文献 


Schur 补 (S3.2.2) 广泛见于各种应用.关于它的 理论与 应用，外见 
R, W. Cottle ( 1974) . u Manifestations of the Schur Camplemenl, " Lin . Aig am) fts Ap- 
plic. S 211. 

Schur 补在一 些应用领域里也称 *■ 髙斯变换 ' 髙斯 - 若尔当变换（题 3 2.5 ) 的用处 
之详细讨论可见 Fox(l964) ， 也可 参阅； 

T.Delsker and W. Hoffman(1989)- **Rehabilitation of the Gsuss-JotiW Algorithm, Nu- 
mer. Math, 54 ,591 _ 599, 

正如我们所揞出的，内积形式的离斯消去法 d 被人所知和所用很长时间 T.Cfijut 
和 DtxJktle 的名宇是与这些技巧有关联的 . 它们在桌面计算器时代是常用的，因为 
这比高斯消去法少很多中间计算结果.这些 方法今 天仍有吸引力是因为它们在实理上 
SI 利用累内积」这方面的讨论可见 Fox(l%4) 和 Steward 1973 f 13i—139 页）.也可见 
G- E- Forsythe(l%0) , “Ctout with Pivoting T ” Cbmjn . ACM 3 ,507 — 508. 

W. M. McKeeman (1962). “Clout with Equilibration and Iteration, 11 Comm . ACM. 5, 
553—555. 

UJ 分解的循环顺序以及分块技巧等的讨论可见 
JJ.D 3 Tlgarra,F.G.Gu 5 tavson,anjd Karp(1984). 14 Implementing Linear Algebra Algorithms 
for Dense Matrices on a Vector Pipeline Machine,"SIAM Revitnv 26 ,91 — 112- 
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J, M. Orlega(l988). u l'Ke ijk Forms of Factorization Methods I /octor Computery, ^ Par¬ 
allel Compuleri ； 7,135 一 L47, 

D. H r Baile^K Lee ,aml f 7 ■ D ■ Si? 腿 (1991).“ Using i Algorithm to A^eUrate 

the Solutzon of Linear System，”] - Supercomputing 4 ,357 — 371 . 

J. W,Demmd T NJ.Higham,and R. S. Schrdber( 1995) r "Stability of Block LU Pactoriza- 
tioa. "Numer. Lin . Aig. with Applic- 2 5 173 — 19(]. 

§3.3 高斯消去法的舍人误差分析 

我们现在讨论上两节的算法用于求解线性方程组 Ar = 6 时 
舍入误差的影响.关于高斯消去法舍人误差的更详细的讨论由 
Higham (1996 ) 给出 ■ 

在开始分析前，一件有用的事是讨论几乎理想的 情形： 即除了 
储存4和6之外整个计算过程都没有舍入误差.这样，当夕（办 ） = 
6 + e 和当 /7( A ) = 4+£； 非奇异时，我们假定 
(A + E) x = (b + e) f 

II £ II w ^ w II A || «, II e II oo ^ w II 6 II oo. (3.3,1) 
也就是说， f 是一个“附近”问题的精确解.而且.如果说有 
则利用定理 2.7.2 可证明 

" 1 : f —(3.3.2) 

界 (3.3.1) 和 （3.3.2) 是“最好”的范数界.任何对需要储存 A 和6 
的线性方程组求解方法的一般性》范数误差分析不可能得到更好 
的界.因此，如果 A 的坏条件已相当于机器精度，即 


则我们不应抱怨算法给出的支不精确. 


3.3.1 LU 分解的误差 

我们看高斯消去法的误差界与上述理想界的关系.为方便起 
见，我们考虑〜范数且讨沦算法 3.2.3, 即外积形式.我们所导出 
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的误差界也适用于 gaxpy 形式的算法 3.2.4. 

我们第一个任务是量化计算三角分解时的舍入误差. 

定理 3.3.1 假定 A 是一个《 X „浮点数矩阵.如果算法 

3-2.3 中不出现零主元情况，则计算出来的三角矩阵£和亡满足 


LU = A + H , (3.3.3) 

| H |<3 U - 1)^( I A |+ I L | U ) + 0 ( u 2 ). (3.3.4) 
证明对 《 进行归纳法.定理对 《 = 1 显然成立.假定它对 
U - 1) x U -1) 浮点矩阵是成立的.设 

A =卜 -T 

1 « - 1 

则算法的第一步产生£ — fl ( v / a)^Ai = fl(B - ztv t ). 于是我们 
有 

安二 >+/， l / l < w (3.3.5) 

和 

A\ = B - zzv 1 + F,|Ff^2w(|Bl + \ z \ ] m\ T ) + 0{u 2 ). 

(3.3*6) 

算法现在需要计算 li 的 LU 分解. 由归纳法计算出来的的近 
似分解和匕 满足： 


Li Ul = Ax+ Hi (3.3.7) 

~2)u(\A i \+ ILj] IL^) + 0(m 2 ). 

( 33 . S ) 




从 （3.3.6) 知 


af H! + F 


HI < (1 + 2ti)(\ B \ + \ z \ I Vi> \ T ) + 0( u 2 ) ， 
于是从 (3.3.7) 和 (3.3.8) 我们有 

I Hi + FI ^ 3(« ^ 1) u (I ff I + j 5 I I u ; [ 1 


+ I ill I v l \) + o(u 2 ). 

由于容易验证 

|H|<3(,-1)«{[| j '^ 1 "] 


+ 


1 0 1! 

la 1 ^ T 

1 1 1J i 

- 0 |&,|_ 



ou 2 ). 


故知定理成立. □ 

" 我们指出，如果 A 是阵，则定理把 （3.3.4) 中的用 
min | w , m [ 替代后仍成立. 


3.3.2 非精确三角方程组的求解 


接下来我们考查当1和6用于 §3.1 中三角方程组求解时之 
舍人误差影响. 

定理 3.3.2 设£和0是浮点数阵 A 通过算法 3.2.3 或算法 

3.2.4 所求得的 LU 因子.假设 §3.1 中的方法用来计算 L 3； = 6 

和 = 5 之鮮?和王.则 （A + E) 壬=办，其中 

|£|<«^(3| A | + 5\L\ I tr |) + (Xu 2 ). (3.3.9) 

证明从 （3. LI ) 和 (3.1.2) 我们有 

(L + F)y ^ b t \F\<nu\i\ + 0( U 2 ) t 



(U + G) 上二 5n Ig|< «w| t/| + o(w 2 ). 

于是 

(L + F)(U + G) x ^ (LV + FU + LG + FG) x = b. 
从定理 3.3.1， 知 


LV = A + H f 

且 |/ f |<3 U - i ) u ( U | + |£| I [)1 ) + oU 2 ). 所以，定义 

E = H + FU +LG + FG 
则有 U+£U = 6 .而且 

l£|< Ih| + |F| [ c/|+ |i| \ g\ + o(u 2 ) 

<3««(| a | + \l \ \V\) +2nu(\L \ I C/| ) + 0(,« 2 ). □ 

要是 I 艺 I I &l 这一项不太大的话〆 3.3.9) 与 （3.3.1) 的理想界相 
差不大 .（ 因子 n 无关紧要，见 2.4.6 中 Wilkinson 的摘文）.但有 

可能1艺| I 引很大 ，因为高斯消去法并不能排除小主元的可能 

性.如果碰到很小的主元，则£和 G 可能有很大的数. 

我们强调一下，小主元并不一定是由于坏条件所致.如 A = 

x U 所示.所以甚至对于好条件数问题高斯消去法可能给出任 

意差的结果.此方法是不稳定的. 

为了克服算法的这一缺点，有必要在消去的过程中交换行和 
交换列，使得计算中得到的数适当的有界.这一思想将在下一节中 
讨论. 

例 3.3.1 设.浮点运算用于求解 

[0.001 i.ooir^iv ri.ooi 
L 1 00 2.00」UJ = koo」 

，用高斯消去法，我们有 
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3.3.1 证明如果我们在定理 3.3.1 中把 A 是浮点数矩阵之假设去掉， 
则 （3. 3, 4) 将把系数 "3” 换为“4”之后成立. 

3-3.2 设 A 是 n x n 矩阵且£和6由算法 3.2.1 产生， U ) 计算 

illii 丨6丨 IU 需要多少 flop ? ( b ) 证明/(|£丨|5|)€(1 + 2如）- 

I L 1 I &I +0(u 2 ). 

3*3.3 设 I = -证明：如果 e = j : 〜荃 （误 善）=厶_ 4芏（余量）， 
则 

-fj\ < 1MI < ff a- 1 || (ML 

假定矩阵范数与向量范数是一致的. 

3.3,4 用十进制的两位浮点数运算，计算 

hf 7 6 ] 

U 8』 

的 LU 分解.对于这个例子 ,(3.3.3) 中之 H 是什么？ 


本节注释与参考文献 

关于髙斯消去法的*原始的舍人误差分析出现于 
J H, WilkinaDti( 1961 ). w Error Analysis of Direct Methods of Matrix Inversion^/. ACM 
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281—330. - 

长期以来，关 P 误荖分析的界之各种改进以及分析的简化有大最 T. 作，见 

I^A Chiirtrcsflnd J, C. Gtuder( l%7). "Computable Error Hounds for [Direct ScJution of 
Linear Equations> "V. ACM 14 ,63 - 71. 

J 」 K Rdd( 1971). 44 A Note on xhe Stability of Gmis^an KJtmin^tion P V^ Inst. Math . Ap- 
plu '. 8 T 374 — 375, 

C，C Paige(1^)73) 广 An Emjtr Analysis of a Method for Saving Mmrijt Equations, , 

Ccmp r Math .27, 355—359. 

C.deBoor and A, Pinkus( 1977) 」 “A tiackward Error Analysis for Tot^!!y Positive Linear 
Syaiems , ，’ Numer r 27*485 — 490. 

H. H. Robertson(1977). "The Accuracy of Error Estimates Systems of Linear /Ugebmic 
Equations, V， Inst . Malh . Applic . 20 , 409—414, 

LJ OuCTOzaruJ N,J, Highajn(1992). “Stability of Methods for Matrix Inversion , n IMA 
J Num . Ami. 12 9 1 一 19 」 


§3.4 选主元法 


上一节的分析表明，我们应采取措施使计算的£和6没有太 
大的元素.例子 

■ 0.0001 1 


A 


■ 1 0 

'0.0001 1 

■10,000 1- 

- 0 - 9999- 


LV 


准确地给出了困难的根源，即相对很小的主元.克服此困难的方法 
之一是交换行■在我们的例子中，如果4是置换阵 

■0 11 

■ 10」， 


P 


则 


PA 


■ 0.0001 


LV 


t 1 T 1 

■0.0001 1 J 1-0 0.9999 

此时，三角因子之元素都是可接受的小元素. 

在此节，我们阐明如何决定 A 的置换形式使其有一基本稳定 
的 LU 分解■这有几种做法，每一种对应于不同的选主元技巧.我 
们主要讨论部分选主与全选主.将讨论这些技巧的有效实现以及 
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它们的性质.首先我们讨论置换矩阵乘法. 

3.4.1 置換矩阵 

本节要发展的高斯消去法的稳定化方法涉及到如交换矩阵的 
两行这样的数据流动.为使所有的计算都用“矩阵语言”来描述，有 
必要熟悉置换矩阵.置换矩阵就是把单位矩阵的行重新排列，例如 

0 0 r 

10 0 0 
p = . 

0 0 10 

-0 1 0 a 

一个《 x „置换阵永远不必显式储存，用一个维整数向量 p 表 
示…个一般置换阵要有效得多 .一 种方法是令 /> U ) 是 p 的第走 
一行中惟一个“1”的列数.于是，户=[4,〗，3,2]就是上面尸的一个 
很好的编码.也可以按 P 每列中“1”的位置来编码.在这神方式下 
对上面 P 有 = 

设 P 是一置换阵是一矩阵.则 PA 是 A 的行的置换 ， AP 
是>4的列的置换.置换阵是正交的，所以，如果 P 是置换阵，则 
P 1 = P T . 置换阵的乘积是置换阵. 

本节我们特别关注交换置换阵，它们是将单位阵中两行互相 
对换而得到的.例如 


no 0 0 r 

0 10 0 
E = . 

0 0 10 

Li o o a 

交换置换阵可用来描述行和列的互换.对于 t 面的 4X4 例子 , EA 
对 4 的第 1 行和 4 行互换.同样地， AE 是互换 A 的第 1 列和第 4 

列. 

如果 — A 且每个仏是将单位阵的第务 行与 p ( k ) 行 
互换，则 p ( l ^) 是 P 的一个有用的编码.事实上，对它被 
Px 覆盖： 
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for k 二 1 ■, n 

jr { k )*^ x { p ( k )) 

end 

这里记号表示对调，由 T 每个^ 都对称且 P T = I …，这 
表示式可用来将 P T jt 覆盖 .r: 

for k = n ■ - I '■ I 

x ( k )^ jc ( p ( k )) 

end 

应该'指出的是在置換运算中没有浮点运算.但是，置换矩阵算子常 
常涉及到数据'的非常规移动，可能带来相当的计算负担. 

3.4.2 列选 主:基 本思想 

我们证明在 UJ 计算中用交换置换可保证所有乘子之绝对值 
不大于1.假定 

3 17 10"" 

A = 2 4 -2 . 

_6 18 — 12_ 

为了使第一个高斯变换乘子尽可能小，我们用行互换使是第1 
列最大的元素.所以，当£：是交换置換阵 

0 0 1 " 

二0 1 0 ， 

_1 0 0 _ 

则 

[6 18 - 12 " 

E X A = |2 4 - 2 - 

b 17 10 _ 

由 
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1 

0 

°1 

6 

18 

- 12" 

Mi - 

- 1/3 

1 

(J 卜 M/jA = 

0 

- 2 

2 


- 1/2 

0 

lJ 

-D 

8 

16- 


现在为 使财 2 中乘 f 尽可能小，我们需要互换第2和第3行■所 
以，当 



1 

0 



1 

0 

0 _ 

E 2 = 

0 

0 

1 

和 JVf 2 = 

0 

1 

0 


-0 

1 

0^ 


-0 

1/4 

1 - 


时，有 

6 18 - 12: 

M 2 E 2 M ] E l A =08 16 . 

0 0 6 . 

此例刻画了行互换的基本思想，一般情况下，我们冇 
for k - \ ： n ^ 1 

确定互 换阵^ 使得 E A (1; A -1) = h 〗且对于 

的第 /? 列 2 有 

I ) I - i! z{k' /?) II M 

A = 

确定高斯变换 ivr t , 使得 MiA 的第々列 r 满足 +1: 

n) = 0 
A^MkA 

end 

此特别的对行交换的技巧称为列选 主元整 个过程完成后，得到 
M „ t E n _ 1 *“ Mi £'[ A = (7 ，是一 h 二角阵 ■ 

由于列选主元，所有乘子的绝对值都不超过 1. 这是由于对是 
=1: n - 1都有 

| ([邮-彳…叫丑⑷敁丨 = ma ^ \ ([抓-广-财山 A )* 丨 ‘ 
所以，列选主元能有效地保证任意大的乘子 ■ 
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3.4.3 列选主元 :细节 


现在，我们给出带列选主元的高斯消去法整个算法细节. 

算法 3. 4 . 1( 带列选主元的高斯消去法）设 4 则本 

算法计算高斯变换以及交换置换阵仏，…」使 
得 MuR - i …; 17是上三 角陣. 所有乘子的绝对值都 
不大于 1, A ( H 6) 被 t /( IU ) 所覆盖 
々）被-叫（々+ 1:/7』）所覆盖 U = l:n -1) .整数向量 p ( l ：^ - 
1) 是交换置换 指标. 确切地说.对々二交换 A 行和 
P(k) 行 . 

for k-\：n - ^ 

找到"使得 k^；i^-n 且 1 A (" ,是 ） | = AU -n,k) || oo 

A { k ， k ' n 、一 A { p ， k ' n ) 

p(k) = jU 

if AU，々） 关 0 
rows —k + l'n 

A (rows， 是 ） ^ A ( rows , k )/ A(k , k ) 

M rows ， rows ) - A ( raws ， rows ) 


end 

end 


A ( rows ， k ) JK { k ， rows ) 


注意到如果在第々步中 II A ( k - n , k ) II 〜=0,则在精确运算时 A 
的前々 列是线性相关的.与算法 3.2.1 不间的是，在这 M 没有困 
难，我们可简单地跳过零主元. 

从浮点运算的角度看，列选主所增加的工作量并不大，因为在 
选主时迸行比较的次数为0(，）.而整个算法的浮点运算次数为 



执行算法 3.4.1 之后.解线性方程组 Ajc 二6我们需要 
• 计算 
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• 求解三角线性方程组 Ujc = y . 

所有需要的信息都储存于 A 和选主向量/^中.事实上.计算过程 
for 是=1: - 1 

b{k )^b{p{k)) 

b{k \ ' n) -- b{k \ — b{k)A{k + \- n ,k) 

end 


将 6 用 M „ r .+ M/A 覆盖- 

例 3,4.1 如篆算法 3.4.1 用于 


则结束时有 


「3 17 KT 


A 

2 

4 - 

2 : ， 


-6 

18 - 

12 j ' 


" 6 

18 

- 12" 

A = 

1/3 

8 

16 


-1/2 

-1/4 

6- 


以及/ > = [3 ，3].这两个量包含了与以下分解相关的所有 信息: 


0 

0 



1 

0 

0" 

■ 1 0 0" 

■q 0 r 


0 

0 

1 

-1/3 1 0 

0 1 0 

L0 

1 

0- 

-- 1/2 0 1- 

-1 0 0- 


6 18 

A = 0 8 

-0 0 


-121 
16: . 
6」 


3.4.4 L 储存于何处？ 

带选主元的高斯消去法计算出 A 经过行置换后的 LU 分解. 
此证明仅仅是下标比较. 

定理 3.4.1 设用带列选主的高斯消去法（算法 3.4.1) 所求 
得的上三角阵为 

M n _ l E n .. l "' M l E l A = U . (3.4.1) 
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则 


PA = LV. 

其中 Ps ^- r +. f^L 是单位下三角阵且 I / y I <1. l 的第务列 
在对角线以下的部分是第 A 个高斯向量的置换形式.确切地说，如 
果卜 T u) ej 则 仑（办十1:??，々）=茗（々+1 :?3 )其中尺 = 

证明从 （3.4.1) 可知 h = t；, 其中 M.-i = 

M n _ t 以及 

Mi = … J^ +1 Mj^+r*.E „- 卜 k 《 n - 2 ‘ 

由于毛是关于 j 行与 p 行的互换我们有 Ej ( l：j -1,1 ： 
J - l) = h 从而每个成 都是高斯变换，其髙斯向量为7^> = 
E„- l "*E k + ] r (k \ 口 

此定理的作用之一是让人很容易看到该如何修改算法 3 . 4 . L 
使其在结束时储存 L(~ ) (对 （ >j). 我们仅需 把&对 
所有已箅出的高斯向量进行变换.这可在算法 3.4.1 中通过将 
换成 “AU，1 而实 

现. 

例； J.4.2 例 3.4.1 中矩阵之分解 JM = Lt； 是 



3*4.5 Gaxpy 形式 

在 §3.2 我们给出了计算 LU 分解的外积、彡式和 gaxpy 形式. 
已经讨论了外积形式的选主元法，很自然将职 x Py 形式与选主元 
结合. 回顾一下 (3.2-5) 对一般形式的 gaxpy LU 过程： 

L = / 

U = 0 
for j - 1 72 
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■ n)^ A(j- n ,j) 


end 


解 L(l:j 一 1,1:) 一 1)2=4(14 -Ij ) 求出 t 
令 U(] ： j-l f j)^z 
v(j -n)^ A(j- n ,j)- L(j ^n ,\ ： j - 


end 

Hj<n 

L(j ■+ 1 ： n,j) = v(j + 1 -n)/v(j) 

end 


end 

列选主要求找 \v(j'-n)\ 的最大元素且相应的进行 . 假定 A 是非 
奇异，从而不会有零主元于是我们得到 
L - f ; t / = 0 


for ) = 1: w 
if j =1 

= A(j '^n t j) 

else 

-令 

v ( j ^ n ) = A ( j ' nj )- L ( j - nA : j - l)z (3.4.2) 


end 

if j<n 

找出使得 \ \ — || 

A(j ,y +1 - n )^A(« + I ■ ?7 ) 

L(j + 1 ■ n + 1 * « )/-y(j ) 

ifj>i 
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L{j A- J - \ L(u ri'J - l) 

end 

end 

V{j t j)= v(j) 

end 

在此程序中 ，我 们得到了分解户八=1^其中0=£： 71 

是互换单位阵々行和/ ^ U ) 行的交换阵.和算法 3 . 4il 一样， 

此算法需要个 fbp 和 OCV ) 次比较. 

3.4.6 误差分析 

现在我们考査列选主所得到的稳定性.这需要考虑消去时以 
及解三角方程组时的舍人误差.记住在交换运算中没有舍入误差， 

从定理 2.3. 2不难证明计算出来的 S 满足 （ a+£)S = A 且 

iE|<i^(3U| + 5P t |l| \ V\) h 0{u 2 ). (3.4.3) 
这是我们假定爹，元和 0 是以上算法产生 P 乂和 y 的计算形式.选 
主元保证 i 的元素不超过1.所以 II i II .因而我们有界 

II £ [f » < nu (3 If A J| « 4 5fx || C/ || m ) + 0( u 2 ). 

(3.4.4) 

留下来的问题是估计 || & || … 定义增长因子 

10)1 

厂，1玄[’ （ 3 乂 5) 

这里 A ⑴是矩阵广 ‘ M l £ M 的 i 十算值.则有 

II £ II « ^ 1| A f| noi/ + 0( u 2 ). (3.4.6) 

此界能否与理想界 (3.3.1) 相比取决于增长因子 p 的大小 .（ 因子 
在实际中不太重要，在此讨论中不予考虑. ） 此增长因子指出在 
消去过程中元素能有多大•在实际中4的量级常常是10,但它也 
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可能大到 2 rl - 1 . 即便如此，大多数数值分析专家认为，实际的带列 
选主元的高斯消去法中元素迅速增长的情况是非常罕见的.所以 
该方法可以放心使用 ■ 

例 3.4.3 设带列选主元的高斯消去法用于问题 


[ 0.001 l . ooir-ni ri.ooi 

1. 1.00 2-OoJUJ— U‘oo 」 

假设浮点运算的 j 8=10，/ = 3, 则 

ro 11 f ri oo o i r [ 1.00 

p ^li 0 J ， 叫 0.(U i.ooJ ， 叫。 


2 . 00 ' 

l.O'O- 


以及 1 = (1.00,0,996) '试 比较例 3.3.1. 

例 3.4.4 设 4€：： l nX "之定义为 

f 1, 如果 j 或， 
a i} = ^ - 1, 如果 f > j , 

"I 0, 其他 ■ 

则 A 的 LU 分解满足 I 心 I <1且 


3.4.7 分块离斯消去 


带列选主元的高斯消去法可整理成主要为3级运算■我们给 
出分块外积的详细过程，分块 gaxpy 和分块点积也同样是可能的 ■ 
见 Duyde 和 Duff (1988). 

设，为清楚起见假设《二广义将 A 分划为 
[ A n A 12 ] r 
LA 21 A 22 Jn - r 


分块消去的第一步是典型的.它的做法如下： 

•用标量的带列选主的高斯消去法（即算法 3-4.1 的长方形 
式)计算置换阵^6:;^"，单位下三角阵和上 
三角阵使得 
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*将 Pi 作用于 4 的其他部分 



•求多右端项的下三角问题 

*^12 - A 12 

• 进行3级修正 

力 - A 22 - L 2l U 12- 

利用这些计算我们得到分解 

L/ j2 i h JLo A」L o i n r i 

然后，以上做法可重新用于 f 的前 r 列. 

一般地，分块算法的第6 步 - I )对一个 （77 — {k 一 
l ) r ) X r 矩阵做标量的高斯消去法.求解一个 rXU - 心）的多 
右端项问题以及进行维数为 U - kr ) y ( ft - JbO 的三级修正，整 

个算法的3级比大致为 l - y $. 因此，此方法在 N 大的时候主要 
是矩阵乘法. 

3-4.8 全选主元 

另一个选主元策略称为全选主元法，它具有其对应增长因子 
比小得多的性质.我们重述，在列选主中第 A 个主元是从当 
前列的一部分 4(0 4) 中寻找.在全 选主元 法中，是把当前子矩 
阵 AU 、>4) 中的最大元素置换到 UJ ) 位置.这样我们求得 
i ： 三角 分解： … + t /， 在第々步时，要 

处理的矩阵是 

A u -° = 

而 a 需要确定置换阵^和巧使得 

(( f ：^ a - n F ,) u | = 山 | ■ 

类似于定理3.4.1，我们有 ^ 


. 132 ■ 



定理 3.4.2 设带全选主元的高斯消去法用来计算上三角分 
解 

= U ， (3,4.7) 

则有 

PAQ - LU t 

其中 P = £「！■■■£】，0 =杓 …匕^是 L 是满足于 | 41 <1 的单 
位下三角阵 . L 的第6列在对角线以下的部分是第 A 个高斯向量 
的置换形式.确切地说，如果 地= 7 — r u VI 则 LU +1:?7，是）= 
+1:«)其中 g = E „-「-， i 4 + 1 ir u ). 

证明此证明与定理 3.4.1 之证明类似.详细证明留给读者. 

□ 

以下是带全选主儿的高斯消去法的细许 . 

算法 3.4.2( 带全选主元的高斯消去法） .， 本算法计算全选主 
元三角化 PA 0 = Lt 7, 其中1是单位下三角， （7 是上三角 ■ P = 
〖 是交换置换阵之乘积 . A(i U ) 由 
U (1 U ) 所覆盖 U =丨：》). AU + 1:«，幻被 + 1^，々）所 

覆盖 U = l : n -1).£^ 交换々行和 〆 々）行,巧交换6和2(々）列. 
for k = l ' n - \ 

确定满足6 ^ fi ^ n 和々的 p 和 A 使得 

| A ( 尸 ， A ) | = max | . | A (z , ) ) | '■ i - k - n ,j - k' n\ 

A ( A , 1' rt )eA (" ， 1: « ) 

A (\^ n y k )^ A { Vn , X ) 
p ( k )^ fi 
q(k) = A 
if A(k,k)^0 

rows 二务十 1: w 

A (rows ，是 ） =A ( rows ,k)/A{k,k) 

A ( rows ， rows) = A ( rows, rows) - A (rows, k ) 
•Ad rows) 


end 
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end 

此算法需要 2n 3 /3 个 flop 和 OU 3 ) 次比较.与列选主不同，全选 
主元法由丁其每步的两位数组搜素需要增加很大6 选主 元工作 

量. 

3.4.9 关于全选主的说明 

假定 rank (A ) = r<w， 则在 r 十1步之前 A (r + \ ■ n } 

r + 1 ： « ) =0. 这意味着 E k ^ F k = M h - I(k = r + \- n ) .所以算法 

吋在 r 步之后结束，所得到的分解为 

\L n 0 1 r i/ L1 t/ 12 i 
PAQ = LI/ - 12 ‘ 

L ^21 J"」L 0 0 」 

这里和[^是 rx r,Z ^和是 （，< - 因此，带全选主 

元的高斯消去法原则上 吋用来 确定矩阵的秩.但是，舍人误差使得 
碰到精确的零主元不太可能.在实际中，如果在 々十 1步中主元是 
充分小，则我们可以“断言”4的秩为 r, 决定数值秩的问题将在 
§5.4 中详细讨论. 

Wilklkson(1961) 证明了在精确运算下矩阵 而… 
的元素满足 

\ a ^ ) \^ r _ k ^{2^ /2 - k l/k 1 严腕 t|« y 丨， (3.4.8) 
此上界是关于 A 较慢增长的至数.该结果以及大量的实例建议 p 
总是不太大（如= 10), 这让我们推断带全选主元的髙斯消去法 
是稳定的.该方法在 (3.3.1) 的意义下精确求解一个附近的线性方 

程组 (A+E)「r = 6.但是，在实际中，除了需要确定矩阵之秩，看不 
出有什么理由选择全选主元而不是列选主元法. 

例 3.4.6 如果浮点运算10, £ = 3和带全选主元的高斯 
消去法应用于 

「 0.001 1 . 00 ] 卜 ]_ ri.oai 

L l.oo 2 .ooJU 2 J = i3,my 


则 
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1.00 0 . 00 * 
0.50 1.00- 


「 2.00 1.00 
LO.OO 0.499 


且二 [1.00,1.00: T . 将其与例 3-3.1 和甽 3.4.3 比较. 

3.4.10 不必选主元 

在某些特定情况不必选主元.指明这些情形是重要的，因为选 
主常会影响方法之效率.为举例说明选主元町安全地略去，我们考 
虑对角占优矩阵.如果 

n 

I S 丨 > S 卜 (J ， i 

则我们称 AG "是严 格对角占优的.以下定理表明此性质可保 
证很好的不用选主的 LU 分解. 

定理 3.4.3 如果 A T 是严格对角占优，则4有 LU 分解且 
.换句话说，如果应用算法 3. 4.1，则 P=t 
证明将 A 分划为 


其中 a 是丨 t | . 注意到应用-，步外积形式的 LU 分解后我们有 

卜 r 1 oiri o ir« w T i 

I- v C ^v/a C 」 [0 C — vw r /a ^0 J 」 

如果我们可证 B = t ^， T / a 之转置是严格对为占优则对 《 进 
行归纳法可得到定理.这是由于我们可假定 B 的 LU 分解为 B = 
LjA ，即得 


U;/a L^lO 

但是，证明 JJ T 是严格对角占优是显而易见的.从定义我们有 
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2 im = s I c ， - ， /(r i 

i-\ 3 - 1 

1 f J 

< (u - 卜 , i i)，- I a I _ I % I) 

< c/f |= 1“ □ 

3.4.11 一些应用 

我们以一些例子结束本节■这些例 f 表明对于不冋线性方程 
如何用矩阵分解来考虑. 

假定 A 是非奇异且是是 nx 欠考虑问 题：找 
X(n x p ) 使得 AA ： 二 B . 即多右端项 问题. 如果 X = [ A ， …， A ] 
* B =[ h ，…，心]是列分划，则 
计算 PA = U/ 
for k = \' p 

解 Ly 二 P 〜 

解 V ^ i ， - 

end 

注意 A 仅需分解一次.如果我们得到了 A_1 * 

另一个例子是“在循环外”得到 LU 分解.假定我们需要求解线 
性方程组 At = 6,其中是正整数■一种方式是 
先求出 C = A k 然后求解 Cr = 6.但是矩阵乘法可完全避免： 

计算= LE ； 
for j = l ： k 

用 Lj 二之解覆盖厶 
用 l/x = 6之解覆盖6 . 
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end 



最后一个例+我们说明如何避免陷人直接计算逆矩阵的陷 
井.俏定"和卜"，我们要计算 .s = r T A 1 丄一 
种方式是如 f : 所建议的计算 X = A \然后求 s = c T Xd . 更有致 
的方法是计算= LLf 然后解二角方程组 Ly = ~和 IJ_r = >其 
结果是 s = c ： T : r . 此例子所强调指出的是，当一个公式屮有逆矩阵 
时，我们应该从解线性方程组的角度来考虑而+是显式求逆. 

习 题 

3.4.1 令 <4=[*7是《 X „ 矩阵 A 之 LU 分解 klU <1.设彳和 J 
分别表示4和 [/的 第〖行.证明 

r L 

^7 = «7 - S 

j - 1 

以及用它证明丨| || .4 r | ~.( 提 不:取 模和用归纳法 .） 

3.4.2 证明如果 F 40 = W 7 是由带全 选元: t 的高斯消去法所求得，则 
(7(? w : m ) 中仔何元索之绝对值都4、大于 | hi . 

3.4.3 假设凫€ R …有 LU 分解 U L 和 [； 已知.给出 - 个大约 
(乃- j ) 2 + U — #个 flop 的计算 A — 1 中（以）元素的算法， 

3.4.4 假设又是通过 (3.4.9) 所求出的数值逆.给出 II 4交 - U F 之上 
界- 

3.4,5 证明定理 3.4.2, 

3.4.6 推广算法 3.4.3 使其可分解仃何长方矩阵. 

3.4.7 给出 3.4.7 中所简述的分块消去法之详细. 

本节注释与参考文献 

算法 3.4.1 的 Agd 形式由下义给出. 

H-J _ Bowdler.R-S. Martin, G. Peters t and J, H. Wilkinson { 1966) - 44 Solution of Real and 
Complex Systems of Linear Equations,^ Numer r Math . 8 ,217 —234 」也见 Wilkinson 
andRemsohd^L^^-llO), 

当仝选主元时，猜想 f 其的情形被 F 文证明： 

C- W, Cryer{ 1968), “Pivot Size in GfliissifUi Elimiiiation, ，P Numer . Math ■ 12 T 355 — 345 - 
义于元素增拉以及选 +_ 元的其他文章包 g 

J K, Reid( 1971), "'A. Note on the Stability of Gaussian Elimination* ■ J ⑽. Math . Afi- 
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P. A. Iiusing^r{ 1971). ^Monitoring the Numerical Stability of Gasussian ElimiiiBitiuii/'jVw- 
r/i^r. Math . 1 6 t 360 一 361. 

A. M. Coh^Ti(1974). ^A Note on Pivot Size in Gaussian Elinuruitioii，” Lin - Alg- and U 、 
Appik.s 
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J.Ctey and B. Peierson(l988). ^Growtli lr Gau^ian Klimination T A . Math . Month/y 
95,489—5J 3 

N r J ， Highiim and D r J, Highaml 1989). Grovnh Factuti inG^ins&iafi Elimination with 

Pivoting” SIAM 厂 川 ， 155—164. 

L. N. Trefethen and R. S, Schreiber(i990) r H Average-Case Stability of Ciiiussian Eliiruria- 
tion ， P \S7AM J r Matrix Anai . App! . II + 335—360 . 

N.GoulcK 1991), “On Growth m GauHsian Elimination wilh Complex PivolirtS- 'STAM/. 
Matrix Anal . Appi. 12 ， 354—3G]- 

Ar Edelman(1992) r “The Complete Pivoting Conjecture for Gsusaiaii Eliminaiion False, +h 

The Math^vuitica Journal 2 t S8' -- 61 . 

S. J. Wright(l993) r il A Collection of Problems for Which Gaussian ELiimiiaUoii wilh ParLiail 
Pivoting is Unstable," SIAM j . Sci, and Stat . Comp r 14 ,231 一 238. 

L. V. Foster (1994) - 41 Gaussian Elinut^tion with Partial Pivoting Vm Fail in Prqrticc，” 
S/.4M /, Matrijr Anal ■ Appl . 15 f 1354 — ] 362. 

A^Edelrt^ari and W. Mfisoarenlias { i995 ). “On The Complftp Pivnting tconjecture for a 
Hadamard Matrix of Oder 12 / r Linear and MuUilinmr Algebra 38 ,181 — 185, 

在元素坩长的讨论中构造稀疏髙斯消去法荇序是有趣 的这足 阪为为 f 尽4能少 

的填充稍人的乘子，有时是可接受的.见. 

I, S. Duff t A. M, Erisman t and J r K, Rdd( 1986), Direct Methods for Sparse Malri* es , Ox¬ 
ford University Press. 

关于小主元与接近奇异的关系可见#考 文献： 

7\ F. Chan (1 985 ) ^ “On the Exist^cr arid tComputation of LU Fact<^nzations with sri^dl piv- 
ots t n Math . (bmp. 42 s 535 — 548, 

我们没讨论的一种 选卞元 策略足成对选卞.在该方法中 ，-个 2X2 高斯变换用来 

把 A 的下二角郎分消为零.此技巧在呆费特定的多处理汁算机上很适合.因为每步只 

钻相邻之行的组合.见 

f X Sormsm (J 985 ). ^Arvilysis nf Hairwiso Pivoting in Gaussian Elimination + v IEEE Trans , 
on Computers C ~ 34 ,274 — 278. 

关于确定一类矩阵不必选主的范例文阜.可见 
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S. Scrbin( J9S0) - “t)n Fflcroring a of Complex Symmotrir Matrices Withrur Pivoting, ，T 
Math Ormp.35A2?> 1—1234. 

h 如标量高斯消去法有 A 种 14 标准”形式，分块的高斯捫厶法也有六砷标准形式. 
关 丁这畦 力法及丈现之 U 论町见 - 

K Gallivan,W. Jalby,U. Meier,and A. H, SfimehC 198S).Impact of Harareiic^l Manory 
Systems on Linear Algebra Algorithm I>sign T . Supercomputer Appik. 2 ,12 — 

48. 


§3.5 改进与精度估计 


假定用带列选主元的高斯消去法求解《 x «线性方程组 Ax 
= 6.设所用的浮点数运算是 f 位，基是，公式 U .4.6) 就是说，如 
果增长因子适中，则计算值$满足 

(A+E)l = b f II E || oo ^ ^ II A || oo , fx =皆 

(3.5.1) 

在本节，我们考查此结果的实际含意.首先我们强调有必要区分余 
量和精度.然后讨论加权、迭代改进和条件数估计.关于这些方向 
的洋细讨论可见 Higham (1996). 

我们先做两点记号的说明.第一，整节中用到的都是无穷范 
数，因为它在舍入误差分析以及实际误差估计中十分方便.第二， 
我们在木节提到“高斯消去法”时是指带某种稳点选主技巧（如列 
选主元）的高斯消去法， 


3.5.1 余置与精度 


线性方程组 Ar = 6之计算解 S 的余量是向量6 - A 么小的 
余量意味着4 5能有效地“预测”右端项6,从 （3.5.1) 我们有 
If b - A £ || 々 u II A || „ II x IU ， 所以得到 

启示一高斯消去法产生的解 $ 之余量是比较小的. 

小余量并不意味着高精度.结合 （3.3.2) 和 (3. 5.1)，我们见到 
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(3.5.2) 


』 n 产二/:」 1 ^ uk ^( a ). 

\\ JO W oo 

这证明了第二个指导原则， 

启示二如果单位舍入误差和条件数分别为和 
«00(力）&10、则高斯消去法产生的解 f 大约有位十进制有 
效数字. 

如果很大，则称4相对机器精度是坏条件数的.为 
说明启示一和启示二，考虑方程组 

「0 屬 0.579 irx , i _ [0.235] 

^0.409 0,237」 U ' 2 」 _ lOAOiy 

其条件数 “（ A ) 心 700 ，解 i = [2, - 3] T 以下是不同机器精度下 
的 结果： 

是否对 计算伯 满意取决于原始问题之需求，在许多应用中， 
精度并不重要但小佘 M 却很关键.在这些情形下，卨斯消去法求出 
的解也许就足够了.另一方面，当 I ?中有效位数之个数有关紧要 
时，问题就更复杂，本节剩下的讨论都与之有关. 

3.5.2 加权 


设/3是机器的进制基，定义对角阵/^和 D 2 : 

D] = diag(/3 r i ， … ，夕、）， 

D 2 = diag(/?q . … ，夕 c «)- 

n 、 n 线性方程组 Ax = 6之解可通过用高斯消去法求解加权方程 
组然后令1 = ^27得到 M 和的加权仅 
需0(，)个 flop 而且没有舍人误差.注意到仏加权方程而1> 2 加 
权末知变量. 


从启示二知.若 i 和 j ? 是^和^的计算值，则 


II Di [ (S ： - 工 ）II ro 

II Di l x II 


i! 多 -y II 

IMU 


^ f Mc ^( D -[ ] AD 2 ). 
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: r 是，当能使 k ^( d x 1 沿> 2 )远小于时，我们吋得到相对 
更精确的 I ?，只要误差是用“仏”范数 HI 1 二 Di x z 1 U 定义 
的.这就是加权的 n 的.注意到这包 含丫两 个问题，其一是加权问 
题的条件数，其二是在 z > 2 范数下评价误差的好处. 

-个有意义但十分困难的数学问题是对般对角阵 a 和不 
同户求之精确最小.这方面的结果在实际中没有什 
么用处.但是，这并不让人失望，因为 （ 3.5.3) 是 个 大致估计式， 
Ifii 精确地极小化 个 近似界没什么意义.我们需要的是改迸计算 
$的质量的快速近似算法. 

这一变换的特姝情形楚简单行加权.在此方法屮 D 2 是单位 
阵而且选择 Dt ，使得 D [ l A 每行大约有相 同的尤 穷范数.行加权 
减少在消去法屮把一个很小的数加到一个很大的数的可能性 ，这 
种情形严重损失精度. 

比简单行加权稍微复杂的是行-列平衡.其目的是选择 Z > i 和 
1> 2 使得的每一行和每一列的无穷范数都属于：1/声，1]， 
其中/?是浮点数的基.关于这方面的工作可见 MuKeeman(1962). 

对于简单行加怳和行-列平衡没“解决”加权问题这点不必 
过分强调.事实上，每种方法都吋能比不加权得到一个更差的 L 
关于送一点的详细讨饱可见 Forsythe 和 Moler( 1967 ， 第十一章）. 
根本性的建议是对方程和变量的加权必须计对不同问题迸行.逋 
用性的加权技巧是不可靠的.最好是基于原始问题描述的每个 ％ 
之重要性来迸行加权（如果需要加权的话）.度鼂单位以及数据误 
差也应 考虑. 

例 3.5. 1 (Forsythe and Moler(l%7) ， 第 34、40 页 ■) 如果 

[10 100 , 000 ][ 叫 ]_ poo ,000 j 

以及其等价的行加权问题 


都用 〆 == 2的浮点运算求解，则计算解分别为壬= 
(0.00，1.0 (}) T 和王 = (1.00, 1.00) T . 注意到 了 = (1.001 …， 
, 999 …） T 是精确解 

3.5.3 迭代改进 

设 Ar = 6 通过列选主元法 PA = LU Q 求解，假定我们需要 
改进计算值主的精度.如果我们执行 

r — b ~ Ajc 

解 Ly =作 

解 t / 之 w (3.5.4) 

= x + z 

则在精滴计算下 ，+ Az = (b ~ r ) + r = 6 -不幸的是， 
这些步骤的浮点运算所得到的不会比1更精确.这一点是在 
意料之屮，这是由于 f = 〜 a f ) 如果有的法，也只有很少几位 
有效数字 .（ 回忆扃示 -) 因而从改进主 
精度的角度来说是一个十分差的修改.但是， Skee (1980) 给出了误 
差分析，它表明，从向后误差的角度看何时 ，（3.5.4) 可给出一个改 
进的.确切地说，当 

r = ( I II A || I I A -1 || I | A | \ j:\ ) ； /min( | A 1 Lr | } ( ) 

不是太大时，则 （3.5.4) 给出使得对非常小的£有 （A t £) 
工_= &当然，当带列选主元的高斯消去法用来求$时它满足- 
个附近的方程.但是这对某些保持稀疏性的选主技巧来说并不一 
定成立.在此情形下，有限精度迭代改进 （3.5.4) 是十分值得的，也 
是经济的.见 Arioli,Demmel 和 Duff (198 S ). 

要使 (3.5.4) 给出更精确的 1 ， 有必要用扩充精度的浮点数运 
算来计算余暈 h - Ax . 典型地，如果〖位数运算用来计算 PA = 
Ll /， u 和％则用 2 f 位数运算，即双精度来计算6 这一 
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过程可以迭代，也就是说， 旦我们 计算了 PA = Ll ； 和初始化 x 
= 0,我们吋重复如下 过程： 

r = b - Ar (双精度） 

解 Lj = Pr 得 . (3,5.5) 

解❿= ) 得之. 

— + 之. 

我们称此过程为混合精度迭代改进.在双精度计算〃时必须用原 
始的 A . 关于 (3.5.5) 表现的基本结论总结 如下： 

启示三 如果机器精度《和条件数满足《和 
k ™( A ) 〜 10' 则执行 （3.5.5 U 次之后，1有大约 mhiU - 

9)1 位正确的有效数字. 

粗略地1 说，如果 《/ c „( AKl ， 则迭代改进完全可给出一个全 
(单）精度正确的解，注意到此过程是相对经济的.每次改进工作量 
OU 2 ), 相比之下原始的分解的工作量为 0( H 3 ). 当然， 
若 A 相对于机器精度是足够钚条件数，则得不到仟何改进.混合 
精 1度迭代改进的一个主要缺点是它的实现是与机器相关的，使其 
用于希望能广泛流传的软件来说，这不会受到鼓励.方法的另一个 
不足之处是需要保留 A 的原始数据. 

另一方面，混合精度迭代改进在具有累内积，即求 A 的行与 
x 的双精度内积功能的机器常常是很容易实现的，在机器位数不 
长时 t 用迭代改进方法可极大地拓宽求解 Ajc ^ b 问题的范围. 

例 3.5.2 如果 （3.5.5) 用于方程组 

[0.986 0.5791 1 _ [0.235] 

U .409 0.237^ X J = k .107」’ 

设/?= 10，/=3.则迭代改进给出如下解 序列： 

丨 2-111 F 1.99] 「 2.00] ... 
匕3.17」’[-2.99」，[-3-00」， 

精确解是 : r = (2，-3) t . 
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3,5.4 条件数估计 


假设我们通过 PA=LU 已求解 = l 现在希望确定 i 十算 
值 .? ■中的正确有效数字的位数1从 B 示二知我们需耍估计条件数 
心 (A)= || A IU W — 1 彳 〜 计算 II A iU 不 成问题，因为我们仅 
需用公式 


71 

II A \\ c .-, - max S 1% . ， 

J - X 

难点在于因子 II A— 1 II -种想像的做法是估 i| II X 其中 
X = (i :，…， 元） jtlfA 是= e 3 , (见 3,4.9 小 ) 之计算解.这一 

方法的不足是它的汁算量； m 二 II A || ^ [| A || ^的丁作量大约是 
f 的三倍. 

条件数估计的中心问题是假定已有 PA = LI； 或前曲各章所 
给出的分解时用 0( k 2 ) 个 flop 来估计条件数. Forsythe 和 Moler 
(SLE, 第51页）所给出的一神方法是基丁迭代改进以及粗略估计 
式 } ik ^{ A )^ || 3： || ^/ || j ： 11 其中；£ 是 (3.5.5) 中对: t 的第一 
次修正.虽然估计条件数的工作量为 OU 2 ), 但它具有迭代改进 
的缺点，即机器相关， 

Cline,Moler ， Stewart 和 Wilkinson(1979) 提出 了一个没有谊 
一缺陷的估计条件数的非常成功的方法.它基于对以下关系式 
Ay = II A -1 fl co II ^ II os/ fl ^ Jl ^ 

的利用.此方法的基本思想是选取 d 使得 y 的范数尽可能大，然 
后令 


Ka) = II A j| oo II ^ II II J II oc ■ 

该方法的成功取决于 II ：y II „/|| d || ™ 与它的极大值 fl A - 1 I ~的 
靠近程度， 

考虑当 A = T 是上三角的情形， d 和 y 的关系完全由如下列 
形式的向沿消去所 确定： 
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/ >(1 ： /! ) =0 

for ^ ： - I ： 1 

选取 dik) 

y(k) = (d(k)-p(k))/T(k,k) (3-5.6) 

MU _ = — 1) + jU)T(H _1 ，々） 

end 

通常，我们用此算法求解一给定的 7 角方程 1 ^ =丄但是，这里我 
们 S 由选取右端项 d 约朿条件是相对于 V 尽可能人. 

一种使得. V 增松的方式是从集合丨 - 1 ， 1 丨中选取 JU ) 使 
„ vU ) 尽可能大.如杲则取 d ( k )= - 1 .如果 aU )< 0 , 
则取 40 )= + 1 .换句话说，（ 3 . 5 . 6 )使得 6 /( 0 = _ sign (/> U ))- 
由于此时 d 是形如(土 1 ，…， ± 1 ) T 的向量，我们得到估 

汁式 II ri!」l ：y IU. 

如果-1，+ 1(使得同时增长>(是）和 ^0 ^-D + 
丁 （11- I 』 bu )， 则得到一个更好的估计式.确切地说，在第 A 
步我们汁算 

yik)^ p(k))/T(k f k) 

s(k) + = I + ■ + II 户 （ 1 : 点 一 1) + T(1 : 是 一 1 ， 方） y(k) + || 1 

y(k)~ =(-\-p(k))/T(k,k)- 

s(k)- = \ y (k )-1 + ii 户 (1: 方 -1) + 丁 (i4-i, 务 ) II i 

令 

_ jy(k)\ 如果 “、0 s(h)- , 
y k ~ \y(k)- r 如果 sU ) + < sU )' 

这就给出了下列算法. 

算法 3.5.1( 条件数估计） 设 rey Xn 是非奇异上三角矩 
阵 . 本算法计算 M 范数单位向量 y 和标量 K 使得 II 7> II « 〜 
1/|| T -1 || 〜和 K ^ Km (T). 
p(ltn)=0 
for m * - 1 ： 1 
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y(k) + =(\ - p(k))/T(k,k) 

、_ yUr -(- l - MO / rUj ) 

p(k) + = p(\ ： k-\)^ T(\.k-Uk)y(k)^ 

p{k)~ = p{\-k - l) + T(l : 裊 _l ，々） v( 々） 

ifbU) + ! + II p(k) + II { ^\y{k )-I + || p(k) lj t 

y(k)= y(k) + 
pO ■ k ~ l) = p(k) + 

else 

p{\ ： k -i) = p(k)~ 

end 

end 

lb iu II T II ^ 

尸 II ：y II ™ 

此算法需要普通向后消去法儿倍的 T . 作量. 

现在我们描述估计非奇异方阵 A 的条件数，假定它的分解 
PA = LV 已知： 

• 应用下三角形式的算法 3.5. 1于 t / T 得到 （7 T 3； = d 的大范 
数解. 

• 解三角方程组 Lj ^ y , L'w = Pr,m Uz =奶 . 

• K^= li A II oo II 3 ： II m / Jj r II no . 

注意到 IU IU< II A - 1 II M I! r jj ™ .此方法基 f 几个直观结果， 
首先，如果4是坏条件旦则通常所对应的 （7 也是坏条 
件的■下三角阵 L 一般是很好条件的.所以将条件数预估方法用 
于 [/ 比1 更有益.向量 r ， 因为它是 A T Pj = d 之解，一般畏靠近 
c min ( A ) 所对应的左奇异向量.具有这样性质的右端项使得方程组 
有很大的解. 

在实际中，我们所简叙的条件数佔计方法被发现能给出真实 
的条件数比较好的量级之估比 . 
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习 题 

3.5.1 举例说明可能多于一种的平衡矩阵的方法. 

3.5.2 用- [Ow =2运算，和带列选主的高斯消去法求解 

['； XH ;]. 

进行 一歩迭 代改进，用 f =4运算计算余量 （不 要忘记将计算 的余# 舍人到两 
位数）. 

3.5.3 设 PU + E) 二 Ll)， 其中 P 是置换阵，1是满足的争 

位 T 二-角 T (7 是上三角 ■ 证明 k ^ ( O || A II ^/( I £ 其中"二 

mini ^ | .结论是当列选上的卨斯法用 f A 时，如果有小 -k 元，则 A 是病态 
的-反 之不然.（令 A = * 

3.5.4 (Kahan, 1966) 方程组 Ar = 6，其中 

「2-1 1 1 「2(1 十 10，厂 

A 二 | - 1 10 10 l(T ut |6 = I — 10 10 ， 

:1 to 10 itr 1 。 」 1 nr m 

有解 1 二 - i ， a) t (a) 证明如果 （A 舍只）>>=:办和 I E|<Jtr s i A I , 
则 l.r d t 这就足说， A 的元素中小的变化不会导致 I 的大的 

变化，尽管 Ko ,(DAD) 

<5. G) 利用定理 2.7.3 来解释所发生的情况. 

3.S .5 考虑矩阵 

M - AT 

- M M 

^ ^ ,M G R, 

0 I - 

当应用 (3,5.6)RdU)= - c^g(PU)) 时可得到什么样的 ^(T) 之估计？ 
算法 3.5.1 得到什么样的佔计？ 兑的 /cdr) 是什么？ 

3.5.6 当算法3,5.〗 应用于 (2.7.9) 中的凡时给出什么条件数估计？ 
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第四章特殊线性方程组 


§4.1 LDM T 和 LDL T 分解 

§4.2 正定方程组 

§4.3 带状力 程组 

§4.4 对称不定方程组 

§4.5 分块方程组 

§4.6 Vandermonde 方程组和 FFT 

§4.7 ToepliU 及相关方程组 

数值分析的 个 基本原则是：求解任问题都应利用它的结 
构特性.在数值线性代数中，这意味着当问题中出现诸如对称性、 
定型性和稀疏性等特性时，耑要将适用彳求解 般 矩阵的算法修 
改，使其效率更高.这是本章的主题，我们的主要的是设计一些 
计算特殊 LU 分解的专用算法. 

首先我们指出当 A 对称时二角阵因子和1/的关燕，这是 
在 §4.1 中通过分析 U)M t 分解得到的.随后在 $4.2 中我们将 
注意力转到 A 为对称正定这-■重要的情形，导出稳定 Cholcsky 分 
解.本节也 讨论； T 非对称正定方程组. §4.3 W 论 r 高斯消去法和 
其他一些分解法的带状形式.之后我们讨论了 4对称但非定这一 
有趣情形. §4.4 中我们对此问题的处理显示了数值分析学者对 
选主元既爱又恨.我们喜欢选主元因力它能保证稳定_，但由 T 它 
会破坏问题的结构而讨伏它.肀运的是关于对称非 S 方程组此冲 
突巳有一个圆满的解决办法. 

任何带状分块矩阵，其本身也是带形矩阵.故§4,3的方法仍 
迠用.但是坚持这样的观点有时并+值得.在 §4.5 中我们以分块 
二角形方程组为例来说明这种情况，同时还讨论了一些其他的分 
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块方程组.在最后两节，将研究一些很冇意义的 0( » 2 )的算法，这 
些算法可用来解 Vandemionde 和 To ^ plitz 方程组 ■ 

领备知识 

假定你已阅读过第一草、 §2.1 〜§2.5、§2, 7和第二章，本 
章各节的阅读顺序 如下： 

§4.5 


§ 4 . 1 -► § 4 . 2—§ 4 . 3 一 §4.4 
§4.6-^§4.7 

补充参考文献包括 George 和 Liu ( 1981 ) , Giil ， Muny 和 
Wright ( 1991 ) , Higham (1996) ， Trefethen 和 Ban (1996) ，以及 
Demmel ( 19% ) . 本章用到的 MATLAB 函数： chol , tril T Triu ， 
vander , toeplitz ， fft . LAPACK 连结包括： 


LAPACK: —般带状矩阵 

_ GKSV 

解 AX^B 

_OGBOON 

求条件数 

GBKFS 

改进 AX = B ， i 4 ] Jf = = B 并给出误差界 

_GBSVX 

解 AJf 二 B ， A T X = B ， A H X = B 并给出条件数 

_GBTRF 

PA = LU 

_GRTRS 

用 PA = LVmAX = B , A J X ^ B , A u X=B 

_ GBEQU 

平衡问题 


GTSV 1 
GTOON I 
GTRFS I 
c^rsvx I 


LAPACK: —般三对角矩阵 _ 

解 AX^B 
求条件数 

改进 AX = = 并给出误差界 

解 AX 二 B ， A T A = B ， A H X=B 并给出条件数 


GTYHb' \ PA - LU 

GTTRS ;用 PA = iXf 解 AX = B ， A ] J y = B , A H X 二 B 
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LAPACK: 满对称 TK 记矩阵 


_K)SV 

解 AX B 

POOON 

用 A = f;f 厂求条 件数 

— TOKFS 

改进 AX^B 并给出误差界 

_ RJSVX 

解 AX = /i Jt 给出条件数 

_PtJTRF 

A - GG 

_ POTKS 

用 AU; 1 解 AX-B 

_ KTI RI 

A ' 1 

POEQU 

平衡问题 


LAFACK :带状对称止定矩阵 


— PBSV 

解 = B 

_ PBCON 

用 A = f;f 厂 ■求条件数 

_ PBRKS 

改进 AX-B 并给出误差界 

— PBSVX 

解 AX-P 并给出条件数 

_FBTRF 

A = CG r 

_ PBTRS 

用 A = GO 1 解 AX-B 

_ FRTRI 

A J 


]」\PACK 对角对称正定矩阵 

_ PTSV 

解 AX 二 B 

..PIXX)N 

用 A 二 LDL 1 求条件数 

—Fi'RFS 

改进并给出误差界 

_FTSVX 

解并给出条件数 

_PTTRF 

A 二 ldl t 

—FTTRS 

利用 A 二 LDfJ 解 AX-B 


IAPACK: 满对称非定矩阵 


_ SYSV 

解 AX = B 

_SYGON 

用 PAP'-LDL 1 求条件数 

_ SYKFS ; 

改进 AX^B 并给出误差界 

SYSVX 

解 AX = B 并给出条件数 

_SYTRF 

PAP l =^LDL r 

__ SYTRS 

利用 PAP 1 ^ LDL 1 解 AX = B 

— SYTR1 
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LAPACK: 三角带状矩阵 

_ TB00N 

用 A = 「求条件数 

— TBRKS 

改进 AX^B, A [ X^B 并给出汉差界 

_ 113TRS 

解 AX- B f A l X 二 B 


§4.1 LDM T 和 LDL T 分解 

我们需要发展一种能利用其结构的求解对称何题 = 6 的 
方法.为此，我们建立一种变形的 LU 分解，将4分解为三个因 f 
的乘积其中 D 趋对角阵， L 和 M 是萆位下二角阵.一旦 
得到此分解，那么就可 以通过 0( 〆 ）次浮点运算求解 Ly-^biH 
前消去），队和於^二^(向后迭代）來得到 Ax - h 的解.引 
入 / J > M T 分解的原因是为4是对称阵的情况做铺垫，此时 A = 
义 7 ,则 L = M . 基于这种分解方法的 T 作量仅为 Ghussian 消去法 
的一半.后继的内容讨论选主元问题. 


4,1.1 LDM T 分解 

首先看-下 LDM T 分解与 LU 分解之间的联系， 

定理 4.1-1 如果的所有顺序主子阵都是非奇异 
的，则存在惟一的单位下三角阵 L 和 M 和惟一的对角阵0 = 
diag ( d !，…，< ) 满足 A == LDM 1 . 

证明由定理 3. 2. I 知，存在 A 的分解 A - LU . ^ D = 
diag ( A ， …， O 中对所有 i = lin ，有 d , = 注意到 Z > 是非奇异 
的， M T = D _1 l / 是单位上土角阵■因此 A = Ll / = LI > a >- 
LDM T . 惟一性可由定理 3.2. I 中 LU 分解的惟一性得出. D 

由上面的证明过程可以看出， LDM 1 分解可由如下方式得 
到 ：首先 通过高斯消去法计算▲=£(/，然后由 U = Z > M T 来解出 
7) 和 M . 然而，通过直接计算 JL , Z > 和 M 能导出另一个有趣的算 
法. 

假设对某满足 Kjg ” 的/，已知 L 的前_;-1列、 D 的对角 
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元心. ■.< ! 和 M 的前 j - 1行.为求 L (/ 卜1: u ), M(J ， 1: 
)-1) 和名，我们取出方稈 A 屮第 j 列的等式，具体地 
说， 

A( 1 : w , / ) = Lz > 7 (4.1.1) 

其中 v = DM T e r { A . L 1) 式的向量的“上半部”将 Wlj ) 定义为 
巳知的下二角//稃组： 

L ( 1 : ’ 1 : / ) ^ ( 1 ■ j ) - /!{ 1 : j , j ) 

的解，一 &求得则可以汁算得 

d(j ) 二 v(j) 

M(j , i ) = v(i )/ d ( i ), i - l:j - 1. 

(4. 1,1) 式的“下半部”有 X 系式 

L(j + \ ： rt A ■ j ) o (\ ■■ j ) 二 A ( j . + 1 ; n ，）） ， 

它重新组织 』「1 可用来求 L 的第 列： 

L(> + 1 ： w , 1 : j) v(j ) 二 y\ (j + I : n ) 

-L(_; t 1 : n ,\ij - 1)^(1 : j - 1). 
因此，1( 1 ； + 1: ? 7,1^)是数乘的83邛7运算.综上我们得到 
for j = \ - n 

从 卜 / Ul : j ， j ) 解出 - v {\- j ) 

for ? r = l : j - 1 

(4.1.2) 

end 

d(j) = v(j) 

L(j + l ： rt 7 j ) = ( A(j \ i ： nj ) 

~ L(j + \ ：?i ,\'j - - 

end 

和 LU 分解类似， 4 可用因子 L , P ， M 覆盖.如果采用列形 
式的向前消去法来解则可得到以下 算法： 

算法 4.1.1( LDM t ) 设:1〜存在 LU 分解，则本算法 
计算满足义= LDM t 的单位下三角阵 L,M 和对角陣|> = 
中 元素％ 分别由 / y (;>_;)，< ( / 以及 

■ 154 . 



mji (i < y ) 所夜盖 . 

for j n 

!解1^(1^，1:_7)1，（1:』） : =八（1:)，7)} 
v{\- } ) = A ( i ： JfJ ) 

for ^ — 1 ： j - 1 

(厶 + 1 : j ) = *) y (々 + 1 : j ) _ ^ } A{k + 1^ ) 

end 

f 计算 MGJj - l ) 且存于 A(\-j-l,j)A 
for i = \-j - \ 

A(i t j) = v(i)/A(ij) 


end 

I 存 d ( j ) 十 
A(j ,j) = v(j) 

U 十算 L ( J ’ 卜 1 : W )且存丁 A(j + 1-n ,j ) \ 
for ^ = 1 ■ j - 1 

A(j \ ■ n ,j) = A(j + i-nj)- -o(k)A(j + 1: w , 方） 

end 

A(j + \ ： n f j) = A(j + } ■ 7j j)/v(j) 

end 

本算法的工作量与 LU 分解相同，约为2^ 3 /3 flops . 

可以 M 明，利用算法 4.1.1 和 §3. 1屮的一般二角方程组解 
法所得到的 h = 6之计算解1满足扰动方程组 （A + E ) H 其 
中 


I £ I < (3 I A ^ + 5 I L i I D 1 I M t I ) + OU 2 ), 

(4.1.3) 

分别是 L ，/ J ， M 的计算解. 

如前一章考虑的 IAI 分解一样，除非进行选主元处理，否则 
(4.1.3) 式的上界将没有限制.因此，为使算法 4.1.1 成为实际可 
行的算法，应改为计算形为 PA = Li > M T 的分解，其中 P 是能够 
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使 l 满足 i ~ i < i 的置换阵.由 r 解决这个问题非常赶观 .11 我们 
d 人 ldm t 分解的目的足为寻求求解对称方程组的特殊方法，因 
此，我们将+追求其细节， 

例4丄1 

[10 10 201 「1 0 on 丨 10 0 0 ] 「1 1 2 ] 

A- |20 25 40 = |2 1 0| I 0 5 0 ^ °U 

bo 5(J 6U 3 4 ] j L 0 0【」 J 0 1 」 

按算法 4.1.1 执 A 被覆盖为 

rio 1 21 
a = ! 2 5 0 j . 

1-3 4 1，' 


4.1.2 对称性和 LI > L t 分解 

如栗 A 是对称的，则 UJM 1 分解中有些是多余的. 

定理 4,1.2 如果 A = LDM t 是非奇异对称阵 A 的 LDM t 
分解，则 L 二 M . 

证明矩阵 M l AM T = M l LD 对称 R 是下三角的，因此 
它是对角阵，因为 D 是非奇异的，故 M _ ] L 也是对角阵.而 
M _1 L 是单位下三角阵，因此 M L = J . □ 

从以上结论可知，算法 4.1.1 应用于对称阵时，工作量可以减 
半.在第 j 步，由？ M = L 且假定 L 的前厂1列已知，则 
j - 1) 也为已知 .[ nj 想 （4. 1.2) 中的第步，向量是由 
DM ^ e , 的前 j 个分量定义的，由 M = L , 故 

d{\)L(jA) 

d(j - \ )L{j - I) 
d(j) 

于是，向量可通过对 L 的第）行做简单数乘来得到+由 
乙（1:入1:_/)1二的第』个方程，有关系式 v ( j ) = 
A(j , j )~ L(j , l：j ^ 1 )^(1 ：> - 1). 
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故有 : 


for j = }：rj 

for i = \\j - \ 

v(i)- L(j , i)d(i) 

end 

ci(j )^ v(j) 

L(j M : n ,^) = (A(j + 1: n ，， ） 

- L(j 十 1: « ， l: j 一 1)^(1 ：j - \ ))/z'(j ) 


重新整理上面所述 得出： 

算法 4.1.2( LDL t ) 如果对称且存在 LU 分解，则 
本算法计算满足 A = LDL t 的单位下三角阵 L 和对角阵 D = 
dm ( d lt -% d n ) t A 的元由/ 〆 【>_?)和所 覆盖. 
for j = 1 ； n 

i 计算 \ 

for 


end 

{ 储存 d(j) J± 计算 L(j -+ 1 ； n ). i 
A(jj) = v(j) 

A(j ^ iinj) = (A(j + lin y j) 


end 

本算法需 沪 /3 个 flops ，大约是高斯消去法的一半 . 

在下一节，我们证明，当 A 对称且正定时，算法4 . 1 . 2不但能 
够顺利执行完，而且十分稳定，如果 A 对称但非正定，则需要选主 
元， §4. 4给出了相关的方法. 
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例 4 . 1.2 



"10 

20 

30 


1 

0 

tr 

10 

0 

0" 

"1 2 

3 - ' 


20 

45 

80 

= 

2 

1 

0 

0 

5 

0 

0 1 

4 


30 

80 

171. 


3 

4 

1」 

- 0 

0 

l- 

_0 0 

1 - 


按算法 4.1.2 执行完后，4被覆盖为 

"10 20 30" 

A = 2 5 8() , 

-3 4 1 _ 

习 0 

4*1.1 证明非奇异阵 A 的 U ) M T 分解如果存在则必惟一. 

4.1.2 修改算法 4.1.1 使其计算 PA = LDM 1 的分解形式，其中 L 和 
M 均为 申位下 二角阵是刈角阵， P 为置换阵且满足|~|<1. 

4.1.3 假定的对称阵4按如 K 方式存储于向量^中^ = 

322, W ” .按 A 的这种存储结构重写算法 4.1.2, 尽 
可能地把下标换算移到内循环外. 

4,1.4 将 4 按对角线存储重写算法 4.1.2 .参见 1.2.8 节. 

本节注释与参考文献 

在避免外积更新方面，苒法 4.1.1 与 Croul 和 Dtx>Ktd e 的方法是相关 的参阅 Fbx 
(l% 4 ) 的第四章或 Siewait( 1973,131 —149) .— 个 Ago ! 算法甫参阅 
H.J*Bowd]er,R.S. Martin,G 」 Peters,and J. H. Wilktnson(l%6) f u Solution of Real and 
Complex Systems of Linear Kquiitions ，T , Nunier. Math ‘ 8,217 - 一 234. 

和 

Cj- E- Forsythe(1960). “Crout with Pivoting", Comm. ACM 3,507 — 508. 

"W. M McKeeman(l%2) r “Ciuut with Equilibration ard Iteration ”，Comm . ACM 5 f SS3 — 

555, 

如同算法一样，误差分析和扰动理论也可以利用 H 结构特性，见 
M- Arioli f J. Demme!,and L Duff( 1989). “Solving Sparse Linear Systems with Sparse Back¬ 
ward Error”S/AM J. Matrix Anal. Appl - 10,165 — 190. 

J. R. Bunch,J. W 」 Eleirimel, and C- F. Van Loan(l989). “The Stmtig Stability of Algorithms 
for Solving Symmetric Linear Systems' SIAM], Matrix Attal. Appl. 10,4 ㈣ 一 499* 

A, BarrUind( 1991), “Perturbation IWids for the /X>L T and LU Decomoetions'BfT 31, 
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358—363. 

DJ. Higham and N. J. HigharrX 1992) ''liackwaid Krror mid Condition of Siructured Linear 
Systems' SJAMJ. Matrix Ana/. Appl r 13, 162 — 175. 

§4.2 芷定方程组 

如果对所有非零向量有 : r T Ar >0, 则称矩阵 AG 
是正定的.正定方程组是特殊 Ar = 6问题中的最重要的一 
类.考虑 2 X 2 对称阵的情形，如 

A-[ aU ^ 12 ] 

L «21 a 22 」 

是正定的，则 

7 = ( 1 ， 0)t=^^Tj4_x = tiI] 〉 0 ， 
j ： -(O r l = a 2 2>0 t 

x = ( t ， 1) r => j ： 1 Ajc ^ tin 2 a i2 + >0 T 

x = {1, — I) 1 1 -- an ~ 2a ^ 22 ^ 0. 

由后两个方程推知 k 12 l < U n + a 22 )/ Z . 由这些结果可知 4 
中的最大元素位于对角线上且为正.此结论是普遍成立的.一个对 
称正定矩阵有一条“重”对角线，尽管这样的矩阵不如对角占优矩 
阵那样明显地将重量集中在对角线上，但在计算中同样坷以省略 
掉选主元的过程，在这点上二者是等效的. 

我们首先给出正定阵的一些性质，再讨论在非对称情形时它 
对选主元的影响.然后集中精力设计有效的 Cholesky 分解使其稳 
定地对一个对称正定阵 A 进行分解.给出的算法包括 gaxpy , 外积 
和分块三种形式.最后简单讨论半正定矩阵的情形. 

4.2.1 正定性 

假设 a e : r x "是正定的.显然一个正定阵是非奇异的，否则 
可以找到一个非零向量: t ，使 = 0 .由二次型 x t Ax 的非负 
性可推出以下很多 结论： 
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定理 4. L 1 如果是正定的，秩为则 B 
二 X T AX 6妒^也是正定的. 

证明如果 zeFd 满足 ( Xz ) v A (1) ，则心= 0, 
何因 Jt 是列满秩的，故 ^ = 0. □ 

推论 4.2.2 如果 A 是正定的，则其所有的主子阵均为正定 
的.特别地，所有的对角元均大于零. 

证明如果^ 是整数向量，且 l ^ X ；! < *'- < ,则 Jt 

(:， 是由单位阵的第 W …叫列组成的秩为 A 的矩阵.由定 
理 4.2. 1知 A (^, v ) = x T Ar 是正定的. 口 

推论 4 .2.3 如果 A 是正定的，则 A 的分解 A = U ) M T 存 
在，且1) = ^11吗(4，...，尤)的对角元均大于零. 

证明由推论4, 2. 2知子阵 A (14,1:0 对于々=: [: «是非 
竒异的，因此由定理 4.1.1 可知存在分解 A = LDJVT t . 如果在定理 
4-2.1 中令 X = I ^ T ，则 DM T L r =L ^1^ 7 是正定的.由 

M T L _ T 是单位上三角阵， B 和1>的对角元相同，故对角元必大于 
零- 口 

在实际中，有几种典型情况会产生正定矩阵. 

• 二次型是由物理原理保证为正的能量函数. 

• 矩阵 A 等于一个叉积 X T Jt ， 其中 AT 是列满秩的（正定性是 
由定理 4. 2,1中令 A = J „ 得出的）. 

* A 和 A T 均为对角占优的且每个〜都大于零. 


4.2.2 非对称正定方程组 


仅仅存在 ldm t 分解还不足以意味着它就是一种可取的计 
算方法，因为分解中的因子可能会有大的不能接受的元素.例如， 
如果 e >0, 则矩阵 


£ i=[ 1 °i[ e o 2 in 

^ m e」L - m/e 1 」 L() e + m 2 /e 」 L() 1 . 

是正定的.但如果 m / e » l ， 那么最好进行选主元. 

下面的结果指出了计算正定阵的 LDM t 分解中何时元素会 
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增大. 

定理 4,2.4 假设 A "是正定的，令 T=(A + A t )/2, 

S =( A -4 t )/2, 如果 A = LDAf T , 则 

II I L M ^ M M T I || r|| 2 + ilST^SlI 2 ). 

(4.2.1) 

证明 参见 aitih 和 Van Loan ( 1979), 0 

本定理指出了在什么情况下不选主元也是安仝的.假定计算 

得的因子£，3,七满足 

II I L I I D f I M T I il F < ^ ff f L 丨丨 D I I M t f || r? 

(4.2.2) 

其中是大小适中的常数.由 （4. 2.〗） 和 §3.3 的分析，如利用这 
些因子来计算 Ar = 6,则汁算解5满足 U 二 乂且有 

il £ 11 f < «(3« II A II F 十 5cn 2 ( II Til 2 + II ^T" L S|| 2 )) + (Xu 2 ). 

(4.23) 

容易看出 II T II 2 < II A U ， 于是，只耍 

II ST~ ] S i! 2 。…、 

° = II A || 2 — (4.2.4) 

不太大，则不选主元也是稳定的.换言之，与对称部计的条件相比， 
非对称部分的范数不太大时，不选主元是可靠的.有时 A 具体应用 
中可估计明显的例子是当 A 对称时，有 0=0. 

4.2.3 对称正定方程组 

将上述结果用于对称正定 方程组 ，我们知 A = LDL T 存在并 
且其计算是稳定的，但是，此时还有另外一种分解方法. 

定理 4.2.S(Cholesky 分解）如果 A 6 x " 是对称正定的， 
则存在惟一的一个对角元全部大于零的下三角阵 G€:R" X(1 ， 满足 
A ^ GG t . 

证明 由定理 4. 1,2,存在单位下三角阵 L 和对角阵= 
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diagU /卜 …使得 A = LDL T . 由于大于零，则矩阵 G = 
LdiagCV ^ ，…， ，土）是对角元大 f 零的实下三角阵.它同时满 
足 A = GG T . 惟一性由解的惟一性可推得. □ 

分解 A = GG 1 被称为 Cholesky 分解， G 被称为 Chdesky 三 
角阵.如果我们计算 Cholcsky 分解，然后解：!角形方程钼&二6 
和 G T z 二） ，，则 A = Gy = G ( G T j ：) = GC T r - 

在定理馱 2.5 中， C ： holesky 分解的证明是构 造忭的 .然而，可 
以通过利用方程 A 二 GG 1 来得到计算 Cholesky 二角阵的更有效 
的方法.在以下几小节中我们将说明耵好几种方式来做到送一 
点 * 

例 4.2.1 矩阵 

[2 "21 ^ 1 0]「2 01 T 1 -11 

L -2 5」 L-i 1 JlO 3-11-0 1 i 

= C /2 0] fl - Vi ] 

= !-/ 2 乃」 _0 731 

是正定的， 

4.2.4 基于 Gaxpy 的 Cholesky 分解 

我们首先导出一个含有大量 gaxpy 运算的 Cholesky 分解的实 
现方法，比较等式 A 二 GG 1 的笫 j 列可得 

n 

M ： ,j) = S cAj,k)G( ： .k), 

k-i 

也就是说， 

G(j,j)G( ： ,j) = A( ： J) - ^G(j,k)G( ： ,k)^v. 

k-i 

(4.2.5) 

如果 G 的第 j — l 列已知，则可计算出 i 由 （4.2.5) 中各元素间的 
相等关系推出 

G(j ,j) = v{j : w )/v 7 v(j ) * 
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送是数乘的 gaxpy 运算， 尸是得 到基于 gaxpy 运算的 Cholesky 分 
解计算 方法： 

for j = 1 ： « 

v(j in ) = A(j :n , j ) 

for 先二 1 : 厂 1 

*y(j : w ) = v(j : Ji )~ G ( j ， k ) G(j : n , k ) 

end 

G(j : n ,j) v(j ： n) / ■/ ^v(j ) 

end 

可以在计算过程中用 G 覆盖 A 的 F 三角部分. 

算法 4.2_l(Chol es ky 分解 ：基于 gaxpy 运算 > 给出对称正 
定阵，本算法计算出一个下三角阵满足 A = 
GG r . 对所有 ZGd) 覆盖 /I ( /, j). 
for j = hn 

if j>l 

A(j :n J) = A(j ： n 7 j) - A(j x n t l:j ^ DA(j ,\i 
j ~ l) T 

end 

end 

本算法需 « 3 /3 flops. 


4.2.5 基于外积的 Cholesky 分解 


另一种基于外积（秩为 1) 的 Cholesky 分解4通过对矩阵做如 
下划分 得到： 


A ^ 


a: 

u 


B 


■戸 0 ■ 

■1 0 1| 


■■ v / j 3 l n -x - 

■0 B ~ tw 1 / a -^ | 

' 0 / n ^ 


(4.2.6) 
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这里 0 = A ， 且因負 是正定的，故 a >0.而 B - m ; T / a 是 
x t ax 的主了阵，其中 


故它也是正定的.如果存在 Cholesky 分解 o B- 仰 T /a, 则 
由（4.2.6)有4 =。(； 7 ，其中 

G J ^ °1, 

•~v/j 3 G t J 

因此可通过反复利用 （4.2. 6) 来得到最终的 Choksky 分解，其方 
式和形式的高斯消去法一样. 

算法 4.2.2( Chol es ky 分 解：基 于外积运算）给定一对称正 
定阵4 6本算法计算满足 A = GG T 的下三角阵 GeR nXn . 
对所有的 i > j ， G ( i ， jmAAU ， j ). 
for k =l：n 

A(k,k)= V Mk~,k) 

A(^ + Yin ^k) — A{k + l：n t k)/A(k t k) 

For j 二 k + 1 i n 

A(j ： n,j)-A(j：n J) ~ A(j ： n,k)A(j ,k) 

end 


end 


本算法需 nV 3 flops , 注意，其中的_ 7 循环计算外积的下三角 部分: 

A (务 + lxn f k 1- 1 ： n ) 

—A (^ + \\n H- 1 ： w ) - A(k \ 1 ： k )A{k + im ,k) 1 . 
回想在 1.4.8 Tr 中关于 gaxpy 运算和外积运算的比较，容易得知 
算法 4.2.1 中读写向量的次数要比算法 4,2.2 少一半. 
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4.2.6 基于分块点积的 Cholesky 分解 

假定对称正定，将 A = ( A , ; ) 和其 Cholesky 因 f 看 
作含有方对角块的 N '乂 N 分块阵.取出等式 A = GG t 中关于第 
0^_)块0»)的等式有 

^0 = X ； ^ikO}k - 

k - \ 

定义 



则冇，当 i = j 时， G y Gj = 当 i > j 时， = S .通过合适的 
排序，这些方程吋用来求得所有的 

算法 4.2.3( Cholesk y: 基于分块点积运算）给 定一个对称正 
定阵'本算法可求得一个下三角阵 GG ::. nXn 满足 A = 
GG'A 的下三角部分被 G 覆盖，4被看做是含方对角块的 NX 
N 分块阵. 

for UN 
for i =j ：N 

S = A tj - f ； G ik G] k 
1 

if i=j 

计算 Cholesky 分解 S = 

else 

从 印】;二 S 解出 G f> 

end 

用覆盖 A y 

end 

end 

整个算法需 ^ 3 /3 flops , 与前述其他锻式的 Cholesky 算 法相同，假 
定4被适当分块，则本算法中含有大量的矩阵乘法运算.例如，如 
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果 n = W ， 且每个 A v 都是 r x r 的，则 3 级运算量约占 1 - (1./ JV 2 ). 
由于没有给出积&是如何形成以及 Cholesky 分解 S = 
如何计算，因此算法 4.2. 3是不完整的.为获得算法的高性 
能，这些重要细节必须认真设计. 

另一个块算法可由基于 gaxpy 运算的 Cholesky 算法得出.将 
算法 4.2.1 执行 r 步后，我们已知 

r^u ^ 121 _ ' ^ 1 j 0 ' i r 0 1 r ^11 o ] T 
l A 2 1 A 22 -* - f ^2 l K - r - ■ 0 A -I I- G2 ] I 」 

中的 r .冉接下来我们不对 A ， 而是 
对已明显形成具有可利用的对称结构的约化后的矩阵 a = a 22 - 
G 2 iG ]| 进行另夕卜的 r 步基于 gaxpy 的 Choieaky 计算.按此方法进 
行下去，我们得到基于分块的 Cholesky 分解算法，其第步是对《 
~ {k ~ I ) r 阶的矩阵进行 r 次基 J : gaxpy 的 Cholesky 分解，接着 
是阶为 n - kr 的三级乘法.如果 《〜 rN ， 则二级运算量约占 
l -3/(2 N ). 

4.2.7 Cholesky 分解的稳定性 

在精确运算下，我们知对称正定阵存在 Cholesky 分解.反之， 
如果一个 Ck ^ sky 分解过程能够顺利进行完且得到严格大于零 
的平方裉，那么 A 是正定的.因忡 ，判断 A 是否正定，我们只需用 
上述的任一方法来试着计算其 Cholesky 分解. 

有舍入误差是情形更为有意思 . Cholesky 算法的数值稳定性 
大致可从不 等式： 

r 

* = 1 

导出.该不等式说明 Choiesky 三角阵因子有很好的界.由 II G H 
=II A II 2 也可推出相同的结论. 

Wilkinson ( 1968 ) 在其经典的论文中对 Cholesky 分解的舍人 

误差作了深人研究.利用该论文之结果可证明，如果^是通过上述 
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任一 Cholesky 分解求得的 A 工二 b 的计算解，则，满足扰动方程 
组 （A + EU = 6, 其中II E A 是由 n 决定的小 

常数. Wilkinson 进一步指出 T 如果 c hi UK ^ 其中I是另 

少小常数，则 Cholesky 分解能够执行€底，而不会出理对负数开 
V，方根. 

例4, 2. 2 如果用算法 12. 2 朱处理下述正定阵： 

'100 15 0,011 

05 2.3 0.01 ， 

_ o，m o-oi l . oo - 

且用10, ? = 2的有限位计算，则孴 "= 10,总21 = ] ■ 5,產31 = 
0.!001,会22 = 0.00-本算法在求解幻2时失敗. 


4.2.8 半定矩阵 

如果对所有的向量 x 都有 j： T Ar>0, 则称矩阵 A 是半正定 
的.对称半正定矩阵 Ups) 也是一类非常重要的矩阵，我们仅简单 
地讨讼一些可用来求解 sps 问題的 Cholesky 型方法.首先需要关 
于 sps 矩阵对角元的一整结论. 

定理 4.2.6 如果对称半正定的，則 


I a {} (a ti + a")/2, (4.2.7) 

I a t} (i # j) ， (4.2.8) 

max I \ - max I I , (4.2.9) 

“J i 

a i{ = 0=>A(i,：) = 0，A(:w )=0. (4.2.10) 


证明 如果 x — e { + e J7 M 0^ x t Ax = an + a i} + 2 a iy ，而如果 
x - e { - e } , M — a u + a n - 2 a i} ■不等式 (4-2-7) 可由此二 

式推出.等式 (4.2.9) 是〈4. 2.7) 的直接推论. 

为证 (4. 2.8)，不失一般性，令丨=1。=2,考察下面不等式 


0< 




an 

<^2\ 


^ 121 r -r 1 _ 2 

—G.\\jC + 2 ^ 12 ^ ^22 - 

^22 J 1 J 
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由 Ji A ( l :2， l :2) 也是半止定的，因此 L : 式成立.这是一个关于 .r 
的二次方程，力使不等号成立，需判别式4‘-4叫心小丁寧.由 
(4.2.8 M 推出 （4. 2- 10), □ 

考察基于外积的 Cliolesky 分解法应用 f sp s 矩阵时将会出现 
仆么结果.如果元素 A ( K ) 为零，则由 （4.2.10) 知 A (々：《 4) 为 
零，故不进行任何操作.这样有 
for k — \m 
if A{k t k)>Q 
Ai_k 二 Hik ， k) 

A{k -'r \ \ n ,k) = A{k + 1 ： » )/A {k ,k) 

for j 二々 + 1:7? 

A(j \ n ,j) = A{j -n ,j) ~ A{j ：n ^k) A{j . t k) 

(4.2.11) 


end 

end 

end 

这样对算法 4.2.2 作简单修改就可以适 用丁半 正定阵.然而，实际 
计算中由于舍人吋产肀误差，能导致结果不会恰好为零，所以最 
好是进行选主元. 


4.2.9 对称的选主元 


为保持对称阵 A 的对称性，我们仅考虑 PAP 1 的数据重排 
列，其屮 P 是置换阵.仅做行置换 （ A — R 4) 或列置换 （ A — AP ) 都 
会破坏对称性.形如 

A — pap t 

的修正称为 A 的对称置换.这种操作不会将非对角元移到对角位 
置上. PAPT 的对角元素是4的对角儿的一个重新 排序. 

假定在 （4. 2. 11) 的第6步的开始我们将中最 
大的对角元对称置换到主位置上.如果此最大对角元为零，则由 
(4.2.10) 知 AU :： n ) = 0-这样我们以计算 PAP t - GG t ， 
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其中 GG 乂 " x u u 是下二角阵 . 

算法 4.2.4 假定 A 是对称半正定阵，且秩为 r ， 本算 

法求得满足算 PAP t = GG t 的 n 乂 r 下三角阵 G ， 其中 P 是置换 
阵， r 是下标 . A (: ， l : r ) 的下三角被 G 的下三角所覆盖 ， P = 
，-…户卜其中/%是将单位阵的第 A 行与 piv ( A ) 行互换. 

r = 0 

for k = l：n 

找 使得 A (g ,g) = ma^lAik ,k) r" , 

^)1 

if A(7 ， g)>0 
r = r + 1 
piv{^ ) = q 
A(k y ： )*-^A(q 7 : ) 

A (：^)— A (: w ) 

A 、 k ， k) = /Mk~k ) 

A{k \ \7i ,k) = A{k + i'.n )/A (k ^k) 
for ^ ^ + 1 ： w ， 

A{j m ,})- A{j \ n ,j) - A{j m ,k)A{] ,k) 


end 

end 

end 

实际计算中，使用了容差来检测小的 / UDO 值.但这种处理需要 
很高的技巧性，渎者可参考 Higham ( i 989) .此外， §5.5 中对秩检 
测问题的容差作了讨讼.最后我们指出算法 4.2.4 的真正高效实 
现将仅需要 A 的下三角部分. 


4,2.10 极分解与平方根 

设 A = RU 1 ' 是的瘦型 SVD 分解，其中 m>n + 
注意到 


A = ([/ t V T )(y£] V T ) = ZP, 


(4.2.12) 
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其中 Z = U L V t ,F - VJE 〗 V T ■由 

Pjt = (\f T jc) T Siiv l jc) - £ (j^yi ^o. 

是 -1 

其中 V T . r , 知 Z 的列正交， P 足对称半正定的 .（4.2. 12) 称为 
极分解，因为它与复数分解 z U I 类似.更详细的内容参 

见 12.4.1 节. 

另一类重要的分解是矩阵平方根.假定4 6是对称半 
正定的 J 14 = GG t 是其 Cholesky 分解.如果 G = f / EV 1 ' 是 G 的 
SVD 分解， X = t / Zt ； 1 '，则 X 是对称半正定的，且有 

a = gg t = ( r ; xy T )( r /£ v T ) T = us 2 v T 

=((/ JCt / T )( f /£[/ T ) - X 2 . 

因此 X 是 4 的平方根.可以证明（用特征值理论很容易），对称半 
正定阵有一个惟一的对称半正定的平方根. 

习 题 

4.2.1 假定 A * iB 是 H _ ii 阵 R 正定，其中"，这意 
味着 ^^0 ETt,^ H Hi >0 

( a ) 证明 ： C = [4 _/? ]是对称正定的. 

LB A 」 

( b ) 设计一算法求解 （A ^ ilf )( j : + i _ y ) = 0 + it ')， 其屮和 Jr 是 
J ^上的，该算法应在个 fb P 内完成，井指出所耑的内存空间. 

4.2.2 假定〜是对称 JH 定阵，给出一个算法来求解满足 A = 
RR J 的上三角阵 ' 

4.2.3 假定是对称正定阵，令 T ~ ( A 十 A . r )/2， S -= (A _ 
A r )/2. 

U ) 证明厂 1 11 2 和对于所有工有: r「A l ^： sr T T 1 
成立. 

( b ) 证明如果 A = L /> M T , 则对 ^ d k >\/\\ T _1 II 
4.2.4 寻找一个 2 X 2 的实矩阵 A ，使其所有的实非枣2向董都具有性 
质 ir T Ar >()， 但在 C 2 X 2 集范围内它却不是正定的. 

4.2.5 假定 有正 对角元，证明如果 A 和 A T 都是严格对角占 
优的 ，则 A 是正定的. 
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4.2.6 证明函数 f (. T )^( x T Ajr )/ 2 是及"上的向量范数，当且仅当 A 
是正定的- 

4.2.7 修改算法 4,2.1 使得如果出现负数平方根的情形，算法找到一 
个单位向量I ，使满足后算法终止. 

4.2.8 复矩阵 A 的数值域定义力： W ( A )= 1!， 
证明如果屮 ( A )， 则 A 存在 LU 分解. 

4.2-9 给出的 个 极分解算法. 

4.2.10 假定 A = 1 + «u r ，其中 ”且 IU || 2 = 1，给出焱的 

Choleaky 因子的对角元和次对角元的显式表示. 

4.2.11 假定 A dT x "是对称止定阵臣其 Cholesky 因子存在，令 

q = J ), 对于，令％是满足 A + f Y, 1 ) 奇异的最小 

实数.同样，令 cr„_ 是使 （A + 3^7) 奇异的最小实数.给出应用 Sherman-Morri- 
son-Woodbury 公式求解这控量的方法，并指出求解全部 a T> 的 flop 数. 

本节注释与参考文献 
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Wilkinson and C. Rtnnsch, eds. Springer-Verl^g, New York, 45 — 49- 
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tional Congress Math . (Moscow : [?AciX. Mir, J%8) ,pp. 629 — 639. 
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^Fia/.2fJ T 124 3—1250. 
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L 川 - Alg. and Its Applit ,b8 /89 t 487 - -494. 
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^ A =GG 「 扰动时 Cholcsky 二炖阵 G 如何变化，下述文献给出这个问题的分析 . 

G/W SitfwarL { 1977b). “IVtLurbaliori Bounds for ihe QR FaiL torisalit^n of a Matrix ，’’ 
SIAM J . Num . Anal. 14 ,509—5 IK. 

Z. Dramacj M. Omaladit t and K. Veselif( 1994), “On the Penurbation csf the Cholcsky Kac- 
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ihf 定阵的敏感件问题和极分解的敏感件问题在下述文献中给 fT 讨论， 

N J . High^im(198R). ^Qrfflpunng ^ Nearer SyrntneTno S^tnidefirm^ 

A!g' and hs Applic, 103 1 103™ 118 

R. Mathias( 1993), "'Pmurbation Bounds for the Polar Yk^srip^Uton^ SIAM J Malrh. 
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关于极分解和 T7/ 根的计界方囟的参考文献分别在和 § 11.2 屮给出 . 

§4.3 带状方程组 

在涉及线性方程组的许多应用中，系数矩阵是带状的.只要方 
程排序能使得每个未知数+只出现在与第/个力 程相邻 的几个 
方程中就会出现这种情况.严格地说，对 + v 有％ = 0,则称 
A = (%)具有上带宽对1 > j _ + p 有％ ;0,则称 A ; (%)具有 
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下带宽 /). 当求解带状方程组时，由于 LU ， GG \ LDM 1 等中的= 
角因子也是带形的，因此可节哲很多. 

开始本节前，建议读者复习一下 S 1.2 中 X f 带状矩阵乘法 
的内容. 

4.3.1 带状阵的 LU 分解 


薛先要给出的结论是，如 A 是带状阵 H. 存在 LU 分解 A = 
Lt7, 则 L(LO 爲冇与 >4相同的下（上） 带宽. 

定理 4,3.1 假定存在 LU 分解 4 = Lr ， 如果 A 
的上带宽为^，下带宽为 />，则 U 的上带宽为的下带宽为 p . 
促明证明过程是对做归纳法.由 （3.2.6) 有如下 分解： 


A = 





0 1 卜 w T /^ 

B — 飞 xv 1 /a 】 ■ Q i „-i - 


很显然只冇 w 的前 g 个元素和 w 的前/^个；素是非零的，故 B ~ 
加 T / a 的上带宽 为…下 带宽为 ^设/^仏 是此矩阵的 UJ 分解， 
应用归纳假设和的稀疏性有 


L = 

'-v/a 



和 


[/ 二 


0 



均具有欲证的带宽 U 满足 A=LU □ 

针对带状阵的专用高斯消太法存在 LU 分解也是一目了然 
的. 


算法 4.3.1 ( 带高斯消 去法： 基于外积的形式）给定 
的上带宽为 g , 下带宽为；>，当其存在 LU 分解时，本算 
法计算此分解.当 i > j 时， A(hj) 被 L (/,_?) 覆盖，否则被 
L / U ， j ) 覆盖 ■ 
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for 

for i = ^ + 1 ： min ( k + p 
A ( i t k ) = A { i , k )/ A ( k , k ) 

end 

for j = k + \ ： min (^ + q t n ) 
for i = k 1 ： rnin {k + p y n ) 

A{i ,j) = A{i , 3 ) - A{i .k)A{k o) 

end 

end 

end 

如果 n 》 p 且则本算法需要 2 npq ’\、 flop . 算法 4. 1. 1 
( LDM T ) 及所有的 Cholesky * 解算法都同样有带状的形式，留给 
读者练习. 

4.3.2 带状三角方程组的求解 

求解带状三角方程组时也可类似的节约很多工作量. 

算法 4.3.2( 带向甜消去 法：列 形式）令”是下带宽 
为 p 的单位下三角阵，给定 66 R ' 本算法以 Ljc = b 的解覆盖& 
for j = \ : n 

for / = j + 1 ： min(j + p , k ) 
b ( i ) = b ( i ) - L(i 


end 

end 

如果 7 i 》 p ， 该算法諝要 2 np 个 flop. 

算法 4.3_3( 带向后消去 法：行 形式）令"是 上带宽 
为？的非奇异上三角阵.给定6本算法以 L 匕= 6之解覆盖 
6 . 

for j = n ： - 1：1 

b(j) = b(j)/U(j f j) 
for i — max (\ — l 
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b( i )-b(i) - U(i 

end 

end 

如果 ， 该算法需要 2 叫个 flop . 

4.3.3 选主元的带离斯消去法 

列选主元的高斯消去法也可利用 A 的带状结构进行特殊修 
改.然而，如果 PA = Lt /， L 和 t / 的带状性质却不那么简单.例如， 
如果 A 是三对角阵，在算法执行的第-步将前两行互换后，心 3 就 
非零了.结果，行的互换将带宽扩大了 ■精确地知道带宽如何扩人 
是下面定理的主题- 

定理 4.3.2 设非奇异，其上、下带宽分别为9和 
，如果用列选主元的消去法来计算高斯变换 

Mj = I - j — hn - 1 

和覃换阵尸, ，… 使满足 M rt . iP n - i .-" ,MiPy 1/是上 
三角阵，则1/的上带宽为 p +…而且当 i‘'j 氐1>”_ p 时 
= 0 - 

证明设 PA = LV 是列选主元高斯消去法所计算的因子分 
解，由前知 P = 圪-广十!.将 〆 写成 P 1 ^ [\，‘..，']，其中 
U ，一 4(是丨1.2，*..,«丨的一个置換,如果〜>4厂则以的/ 
阶顺序主子阵是竒异的，这是因 为对户 14-户― 1 有 （ PA )" = 
心 =0而且亍是可推出 f / 和 A 是奇异的，这是… 

■「J 

个矛盾.因此对于 z = i : n ， 有/ t />，因此 JM 的上带宽为户+ 
<?. 由定理 4.3 M 知 U 的上带宽为/ > + ?■ 

为证实 a ⑴的性质可通过观察来得到，因的形成只需 
要将已部分消好的矩阵… PM 屮的 （厂卜 …， 
G+PU) 元素化 为零. — 口 

因此就 U 变得比 A 的三角阵“更胖”这一点来说，选主元会破 
沭带状结构，然而关于 L 的带宽没有任何结果■但由于 L 的第 J 
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列是高斯向的 个 置换，因此 L 的每一列至多只冇户+ 1个 
非零元. 

4.3*4 Hessenbcrg LU 分解 

做为非对称带状矩阵计算的一个例/■，我们看看列选主元卨 
斯消去法是如何分解 -- 个上 Hesscnberg 矩阵 H 的忆 F ，如 
果 /f 是上 Hessen berg 阵 / >j + [时 \ =0). 经过合 — 1 步 

的 列选主 元髙斯消去法，得到如下形式的，个卜 Hessenberg 年： 

"xxxxx" 

0 x x x x 

0 0 x x x 々 u=5. 

0 0 x x x 

_0 0 Q x x._ 

由这个矩阵的特殊结构 p 了知下一个置换矩阵是单位阵或其是 
交换笫3行和第4彳 i 的单位阵.而且下 - 步的高斯变换 M , 在位 
11 U + 1,々）有一个非；乘厂这刻间了 >面算法的第々步. 

算法 4.3.4( Hessen berg LU ) 给出一个 Hcssenberg 阵 if 6 
4以 '本 算法计算出上三角阵^,-1，…其 
中每个 h 是置换阵，每个 A /* 是元素以1为界的高斯变换 + HG ， 
是）在时由 ( J (/ 』）覆盖，在/二4 + 1时由（城\ + 1 』覆盖.用 
整数向量 piv ( 1 ； - 1) 来记录置换.如果巧=厂则 pivU ) = 0.如 

果 h 是将第 A 行和 A + 1行互换，则 pivU ) = 1. 
for ^ = 1：«—1 

if \H(k.k)^<\H(k + ] t k)\ 
pivU) = l; H(k > k ： ?i)^H(k + ],k ： n) 

else 

piv( ^)-0 

end 

if H(k,k)9^0 

t - ~ H(k^ l ,k)/H(k ,k) 
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end 

H(k + 

end 

end 

该算法需要 /7 2 个 flop. 

4.3.5 带 Cholesky 分解 

本节的剩下部分考虑.当 A 是对称止定的带状阵时，如何求解 
A.r=& .由于这种情形不需进行选主元，因此可写出许多紧凑优 
芙的算法.特别适由定理 4.3. U 如果4二 GG t 是 A 的 Cholesky 
分解，则 G 的下带宽与 A 相同.这导致如下算法，它是算法 4. 2.1 
(基于 gaxpy 的 Cholesky 分解）的带状形式. 

算法 4,3 . 5 ( 带 Cholesky 分解： gaxpy 形式）给 定一个带宽为 
P 的对称正定阵本算法计算一个下带宽为的下三角 
阵 G 满足 A = GG T , 对所有的被覆盖. 
for ； = 1 ：« 

for k - max( 1 t j - p) ：j - 1 
A = inin(^ + p^n) 


end 

A = min(j + p , n ) 

' A(ja f j)=Mj ： x tr )/y / A(j.j) 

end 

如果 n > p 则此算法需 Wp 2 + ) 个 flop 和 n 次平方根运算.当 
然在真 m 实现时应为 4 设计恰当的数据结构.例如，如果仅存储 
A 的非零下三角部分，则一个 （户 + l)x „的数组就足够了（见 
1 . 2 . 6节）. 

如果将带 Cholesky 分解与适当的带二角方程组求解算法结 
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合，则解整个 Ax = /，问题大约需 " jD 2 + 7+ 2 w 个 flop 和《次 
平方 根运算.当0值不人时，求根运算在整个 汁算屮 占很大比電. 
故最好是用 LDIJ 分解.实际上，仔细的计数可发现，利用 A = 
LDL I , Ly ^ b,Dz = y 和 = z 来解决问题只需要冲 2 t Snp 
h 个 flop 而且不必进行平方根运算. 

4.3.6 三对角方程组的求解 

做为求解窄的带形阵 LDL T 问题的例/，让我们考察对称正 
定=对角方程组.设 

1 

L - 

0 

和 D = diag ( A , …，尤），则由等式 4 = ZJ > L T 得出 
«11 = 

^ k,k - ]^k 1 k - 2 xn 

^k t k 二 ^4 + n-vdk-v 二 d k + 你 u-i k 二 2xn 

十是 4 和 A 可这样求出： 

for k -2 \n 

e k-\^ a k,k -1 -\'^k = a k，k ~ ^k-\ a k t k-\ 

end 

可通过解 Ly = b,Dz = y L l \z = z 来得到 Ax 二 6 的解.利用覆 
盖，我们可 得到： 

算法4.3.6( 对称三对角正定阵的解法） 给定一个 n 乂 n 三 
吋角对称正定阵4和本算法以 Ax ^ b 的解来覆盖6.我 
们假定 A 的对角线元素存储在中，下次对角线元素存储 
在 K 1: «〜 1) 中. 
for k-2'. n 
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t e(k-\)^t/d(k-i); d(k) 

—d(k) — u(k - 1) 

end 

for ^ = 2 ： 

b(k) = b(k) - e(k -\)b{k - 1 ) 

end 

b(n^) = b{n) /d{n) 

for ^ = 

b{k)^b{k)/d{k)-e(k)b{k^\) 

end 

该算法需要个 flop . 


4.3.7 向置化问题 

三对角的例子引发出一个 难题： 即求解窄的带状问题与处理 
机的向量/流水线结构不相适.窄的带状阵意味着短向量.然而有 
时候却需要同时解决大量的且相互独立的这类问题.让我们以 
§1.4 中提出的观点来看应如何安排计算. 

为清晰起见，假设我们求解《 x „单位下双对角阵方程组 
= b k k-\\m 

且 假定有数组 - 和 用 

£(1:1 1 -1，幻来存储4 ( * ) 的下次对角线，乃（1 : ^0来存储右端 
向量的第6个分量.我们按下述方式来用解覆盖办 
for k-Um 
for i—2in 

end 


本算法是按顺序求解每个双对角方程组，引起的问题是内层循环 
是非向量化的.这是由于对的依赖造成的.将 
关 于&和 f 的循环互换就 得到： 
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for 7 = 2: n 


for k = 

y,k)BU-\ f k) ( 4 . 3 . 1 ) 

end 


end 

这样内层循环巳经很奸地向 M 化，闪为它由一次向量乘法和-次 
向量加法组成，不幸的菇， （4. 3. 1) +是整体流运算.但是，过个 H 
题 "〖通 过按行存储下次对角元和右端向黾来解决.即采用数组 E 
(l:w，i:" 一 1) 和 B (1 ： m ^ \: n -1)，用 K H : n - 1 ) 來# 储 A 
的下次对角元，用来存储6-(4.3. 1) 的计算过程则变 

for i - 2 ： /7 

for ^ - 1 ： w 

B(k ， 0: B(k y i)-E(k.i-\)B(k,i-\) 


end 


end 

这再一次说明数据结构对计算的影响， 

4.3.8 带状矩阵的数据结构 

i . 面算法的写法是基于4按常规方式储存于数组中. 
实际应用中，可针对带状线性方程组的求解有效地设计特殊的数 
据结构，以充分利用矩阵中许多元素为零的特点.问想 1.2.6 节的 
内容即知，如果 A 的下带宽为 p, 上带宽为1则矩阵可以用一个 
+ y+ 1)X„ 数组 A.hand 来存储，其中位于带匕的元素《。存 
FA. band( i ^ j + Q 十1 ， j) 中.按迭种方式， A . band 的第 j 列存储 
A 的第 y 列的非零部分 .k2. 8节中讨论的另一种矩阵数据结构是 
用一个一维数组 A, dag 将4按对角线存储.不管采用哪种数据 
结构，涉及带状阵存储的矩阵运算都要尽量减少下标换算的开销， 
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习 


题 


4.3.1 导出一个类似于算法 4.3,1 的带型 LDM t 分解算法. 

4.3.2 说明如何将算法 4,3.4 产生的结果应用于解上 He ^ senhei ^ 阵方 
程组 ffx 二办 . 

4.3.3 给出个用列选主元的髙斯消去法来求解非对称二对角方程组 
Ar - b 的算法，要求只使用4个 n 阶浮点数向茕的#储空 N . 

4.3.4 对于 CL 定义形状指标 w ( C ，0_ min ,7^01,其中） 
二 I :…证明如果 4 = 是 A 的 Chobky 分解.则刈 n = \- fl 4 im ( A , i ) 
二 m ( C ，0.( 我们称 G 和4有相同的形状 -) 

4.3.5 假定 A 6 ^"是对称正定阵乱有％ = /77(々.0,其中^二1:»， 

假定 A 存储于一维数列 v 中 ： u = (a t1 …， a 22 j 3 . ，…， 

a ； J , 编写一个算法.用 Cholesky 因子 C 中对&的元素厶覆盖 w 用这个分解 
结果解 Ar = 6,问需多少 flop ^ 

4.3.6 对于匸6 : ^"定义户（(：:，0-巾狀1广〜乒()丨，假设^4存在 LU 
分解 A = JU / 且有 

m (A ' m ( A , 2 ) ' ■ * -^v mi A ,n) . 

p(A. 1) p{A ,2) < •- < p(A,n). 

证明对 r _ = 1: n 有 m ( A ， / ) _ w ( r ,;) 和 />( L 入 ） 二/ > ( l /，0 ， m (』 ， :) 的定 
义见习题 4.3.4 

4.3.7 将算法 4.3.1 改成基丁 gaxpy 运算的形式. 

4.3.8 设计一个整体流，可向 M 化的算法来求解刈称正定二对角方程 
组 A < k ) jc W ^0 ik ) . 假设对角线元，上次对角线元和右端向罱按行存储于数 
组 D ， E 和 B 中，6 ⑴ 被工⑴覆盖. 

4.3.9 将 A 按对角线存储重新设计算法4, 3.1 

4.3.10 给出一个 3 X 3 对称正定阵的二对角部分不是对称正定的例 
子， 

4.3.11 考虑 Aj : = 6 问题，其中 


2 

- 1 0 ■■■ 

0 

-r 

-1 

2 - 1 


0 

0 

1 2 、 


0 

0 


2 

i 

- 1 

0 … 0 

- 1 

2. 
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这类矩阵在具有周期性边界条件的边值问题中出现， （ a ) 证明 A 是奇异的. 
( b ) 给出 A 必须满足该方程组存在解的条件，井设计个算法氺解 .（ c ) 假设 
只 为偶数，考虑置换阵 p = [ e { e „ e 2 e n - y a *]， 其中〜是的第 { 列.试描 
述变形方程组并给出解法(假定解存在并忽 略选主元）. 
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§4.4 对称不定方程组 

一个对称阵，如果其二次型 X t AX 既可取正值又可为负值， 
则裤称为不定的、尽管不定阵也存在 LDL ' 1 分解，但其矩阵因子的 
元素可能任 意大： 

卜 M.r 1 oir , o ir 1 o 广 

Ll Ll/e 1」[0 - 1/e 」 L1 / e iJ ■ 

当然， §3.4 中的选主元法都可被用来解决此问题.但这会破坏对 
称性同时也会破坏掉寻找“ Cholesky 速度”的不定方程组解法的机 
会.对称选主元方法，即将数据以 >4- P 4 P T 形式重新组织，必须 
如 4.2.9 节讨论的那样来使用.不幸，对称选主元法并不总是能保 
计算的稳定性.如果和 g 值很小，则无论什么矩 
阵 

i=p O 

的对角元素依然非常小，分解总会出现大的数.对称选主元过程 
中，主元总是从对角线 t 选取的，如这些数比需要消零的非对角元 
小的多，就会引起麻烦，因此对称选主亢的 LDL T 分解不能作为求 
解对称不定方程组的可靠方法.看来，选主元时要考虑非对角元同 
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时又要保持对称性是一个挑战. 

本节我们讨论两神阎临这 挑 战的方法.第一种巾 A^sen 
(1971) 提出，它进行如 f 分解： 

PAP-LTL\ (4.4.1) 

其中 l = 是手位 下二角阵 ， r 是二对角阵 .p 是能使 |~|<i 
的置换阼 . 与此相对应， Bunch 和 P f irlott(l971 ) 提出 的对角选主法 
汁算置换 P 使得 


PAP t =LDL\ (4.4.2) 

其屮/>是由1 x I 和 2 X2 的块构成的块对角矩阵.同样1的选 
取使的下三角阵 h 儿素满足两种分解力法都需要„ 3 /3 
个 flop .—旦完成分解则呵在 OU 2 ) 的 T . 作 U 内解出 Ar :=幻 
PAP 1 - Ll'L^yLz - Ph ,Tai = z , L r y = o),jr - Py^>Ax - b , 

PAP 丁二 IJyf^ 1 , Lz — / Vj , Fkjj ~ z ,1^ y ~ to , .1 = Py ^> A ^ = h . 

在这些求解过程中耑要讨论的“新”东西是 H = z 和的 
解法. 

在 Aasen 方法屮，对称的不定二对角方程组 = z _> J 应用 
选主元的带高斯消上法在 （）（《) 时间闪解出.清汴意在此层次 h 
忽略对称性不须付出很人代价，因为幣个开销为 0 ( 〆 ）. 

在对角选主元法中，方枵组相当于一组1 XI 和 2 X 2 
对 称+定 方程组 .2 X 2 的 问题可 由选主元的高斯消去法解决 .冉 
次说明的是，在这0 ( ” ） 次 H 算屮拋弃对称性并没 fj ■什么不妥. 

因此本节的核心间题便是如何有效地计算分解 （4, 4 . 1 ) 和 
(4,4.2). 


4.4.1 Parlett-Reid 算法 

Parlett 和 Rdd (1970) 给出 f 如何用卨斯变换汁算 （4,4. 1 ). 
我们用的矩阵在第 k 二2 步的执行情况来说明这个算法.在 
这步的开始矩阵4已被化为 
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1 

a i 

(h 

0 

0 

V 


沁 

0C2 


”4 

幻 5 

A (]) = M l P ] APjMj = 

0 

^3 

X 

X 

x 1 


U 


X 

X 

X 


.0 



X 

x_ 


其屮置换阵 Pl 的选取使得高斯变换阵 Mi 的儿素不大于1.检査 
W 屮的最大元素，确定 个 3 X 3 置换阵卢，使得 


戶 2「4 

L -^5- 



=H fM I = max i I w ， I V 4 I ， 1 W I i * 


如果最大元素为0,则今 M 2 = P 2 = I 并继续下一步.否则.令 1> 2 
= diag( J 2 ，f 2 ) ， M 2 = J — a( 2 )el ， 其中 

a ⑵ =(0 () 0 -54/63 .? 5 /i^) r . 


则会有 


A a) ^ m 2 p 2 ap ] mJ = 


al 


0 

0 

(r 

妁 

& 2 

^3 

0 

0 

0 

^3 

X 

X 

X 

0 

0 

X 

X 

X 

0 

0 

X 

X 

X- 


一般地，算法执行 《 - 2步后得到=对角阵 

T- 


= ( M , 2 P n 2 …… 
W 证若有 P = / V 2 … h 和 


则 (4.4.1) 成立.考察 L 付发现 L 的第1列足其第6列（友> 
1) 的下次对角线 h 的元素足由的乘子组成的. 

若想冇效地实现 Parlelt-Reid 方法，要小心地计算修正矩阵 

A ik) = 卜 1 WDmJ . (4.4.3) 
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为了尽量少用 kl 号宋说明所涉及的问题，假定 = n _ k 阶 

u 而 a 想汁算 if + =: u - 狄 Ou - ⑽ 7) T ， 其中山 g r 是 

i fl t 的第 i 歹 y . 此 u 算兒 (4.4. 3 ) 的核心，如令 


fi = Be i 



则对称矩阵 & ;B _ 妳 T - _ T 的下半部可在 2(77 - 々） 2 个 flop 

内算出 . 从是二 1 到是二 -2 累加此最，即知 Paflett-Red 算法共 

需2^/3个 flop , 这是我们所期望的两倍. 

例 4.4.1 如果 Piarlm-Keid 算法应用于 

-0 12 3' 

12 2 2 
A - ， 

2 2 3 3 

L3 2 3 4^' 

则 

Pi : [n 丨， 

Mi = h -( M ,2/3，1/3) t pJ ， 

Pi = rf?i » ^2 ' ^4 »^j] j 


Mi = / 4 - (0,0,0,1/2) T t-J, 

且 iMjpTiLTX' 其中 P=[e ]ie ^e^e 2 ], 


"1 0 
0 1 

0 1/3 

4) 2/3 


0 ()] 
0 (>! 
1 0: 
1/2 1」 


r 0 3 
：3 4 

|0 2/3 
L0 0 


0 0 1 

2/3 0 I 

10/9 0 I 

0 1/2J 


4.4.2 Aasen 方法 


通过重新考虑 Parlcu - Keid 算法中某些 i |_ 算过程 ， Aasen 
(1971) 提出一种能在 w 3 /3 个 flop 内解决 (4.4. 1) 的方法 .我 们需 
要三对角阵的 记号： 
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Lo ■'* Ai-i 〜 」 

为清晰起见，暂时不考虑选主元，假定分解 A = l 1 JjT 存在，其中 
L 是单位下 三 角阵且= Aasen 方法是如下进行的： 
for j -l：n 

计箅= 

计算 a ( i ) 
if j 7^ n - 1 

计算 A ( 4 . 4 , 4 ) 

end 

if j^n ~2 

计算 L() 4 2:«，j + 1) 

end 

end 

因此第 j 个 Aaseii 算法步骤的任务是计算 T 的第 _； 列和 L 的 f 
(j + 1) 列.这算法利用了 ff = ITJ 是上 Heisenberg 阵这一事实 ■ 
由 （4.4. 4> 可推知 a ( j )，/3( j ) 和 L(j + +1) 的计算由向量 

/ i ( l : j ) = H ( l：i tJ ) 决定.让我们看一看其中的原因 ■ 

考虑方程 A = LH 的第 j 列： 

A (:, j) = U ： A:j + Uh(\^j + \)^ (4.4.5) 

这说明 AG _ , j ) 是 L 的前 j + 1列的线性组合.特别地， 

A {} +1：73>；) = 1>(^ + 1：^,1：^)^(1：7) 

十 L(j + \：n t j + \ )h(l + j). 

如果我们计算 
则 




L(j -+ 1 ： « ? ; 4 O ^ (j 4 1 ) ~ t- 1 Cy 4 1 ： ■ (4.4.6) 

因此乂 ( 厂 1 2 ： n,j \ ])iik v(j-^ 2: n) 的倍数 . 因为 L 是单位 下二二 
角阵，由 （ 4.4.6 ) 得 

v(j +-!)-/?(; f 0 , 
r 是从冏 - 方程可得到求 l 的笫 g I 丨）列 

L{j 如 2 : " ， j 十 1 ) - 1 + 2 : 〃 )/i~ (j + lh 

请注意 L(y f-2 ： n ,j 卜 1) 是数乘 gaxpy 运你， 

接下来 给出求和 / Ky) 的公式 . 比较方程 H - 77/中的 
G,J) 和 （J t l,j) 元素.利用约定 /KG) 二0,我们发现 f “ j ) 二 
戶 (J ~ \ ) L(j - 1 ) + 〉和 "（_/ + 1) = + 1 ) ,于足 

队 ： = ' ! (j 4 0* 

由上我们可以写出完整的 Aasm 算法： 
for j — 1 ： « 

计算 h = TlJe, 

if ； - 1 V ； - 2 

a(j)=h(j) 

else 

a(j)~h(j)-/3(j-l)L(j,j -1) 

end 

if J<n-i ( 4 . 4 . 7 ) 

v(J + l ） 二 A (j + i'.n ,j) — L(j -t- L ： «,l：j )/i (1 ) 

卢 (j) = + O 

end 

\fj<n -2 

L(j -i 2 ： n y j ^ 1) = ^(j + 2 ： ti ) A;(j -1-1) 

end 

end 

我们还需详述的计算过程 . 由 （ 4.4.5 ) 得 

A(t ： i^) = La ： ^l ： J f)^a ： j). (4.4.8) 
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由： eti 知 l 的前>列，故这个下二角方程组可用来求解 h (\： j ). 
然而利用方程 h ^ rL 1 的第 j 列可以得到求解 h ( 1。，_； ) 的更有 
效的方法.确切地说，约定扒0儿0,0)=0,则对于6 = 1 :; ，我们 
有 

h ( k ) = - \ ) L(j ^ k - \ ) t a ( k ) L(j f k ) + I 3( k ) L(j ,k + 1 ). 

除了 6 ，这公式可直接用来计算，因为我们还没计算出 dj) 和 

声0).然而一(1: ; -1) 已知，可由三角方程组 （4. 4.8) 最后一 
行求得&(_/)，即 

厂1 

h ( j ) 二 Mj ， j ) _ ^ L ( j . k ) h ( k ). 

k 1 

综合上面结论，用数组/(1^)束存储 7) 中的 
Mly) 的求解过程如下： 

if 尸 1 

/i(l) — A(l) 
else if ) 二 2 

h ⑴ = 3(1); h (2) = A (2 r 2) (4.4.9) 

else 

/(0)=0 ； /(l)-0 ；a2：7 - l) = L0,2 ：； ~1)^0) = 1 

■ 

for ^ = I ： j - 1 

h(k) = ^(k-\)l(k — \ ) + a(k)l(k) + i3(k)l(k+\) 
k(j) h(j) ~ l(k)h (k) 

end 

end 

注意，用这个 OG) 的方法来计算 AUu)， 则解 （4.4.7) 的主要工 
作是求+ 1 :u) 的 gaxpy 运算.在第 j 步中 ,gaxpy 需 2 j(n _ 

个 flop. 累加 j = I ： n 可知 Aasen 算法需要《 3 /3个 flop. 因此 
Aasen 算法和 Cholesky 算法的运算量是相同的. 
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4.4,3 选主元的 Aasen 方法 


现在我们知道 L 的列是由 （4. 4.7) 屮的^向量做数乘得到 
的.如果那个数乘因子很大，也就是说某个 +1) 很小，就会引 
起麻烦.为避免出现这个问题，只需将 o ( j ( + 中的最大元素 

置换到最上面..当然，此置换变换必须恰当地作用于 A 的未约化 
部分和 l 的 a 计算邢分. 

算法 4.4. 1 (Aasen 方法） 如果”“是对称的，则本算 
法计算出一个置换阵 P ， 一个上三角阵 L 和一个三对角阵 T , 使 
其满足 P 4 P = i /几 ' 且 I LUdkCU 置换阵 P 由整教向量 piv 
来标记.确切地说 ， _P = …，_ 2 ,其中 A 是将单位阵的第 

piv ( j ) 行和第 j + \ 行互换所得 . T 的对角元和下次对角元分别存 
储于和 0(1: u 〜 1 ) 中，只计算的下次对角线 
部分： 


for j = h 

由 (4.4.9) 汁算 
if 尸 1 V j = 2 
a(j)- h(j) 
else 

end 

if j ^ n-l 

v(j ^ hn) - A(j \：n ~ L(j ^ Ixn ,l ： j)h(l-J ) 
找 g 使得 I I = || + 1: ”）II co(j + \^q^n) 

piv (/ ) = q;rj(j + + l,2：j )^L(q,2:j) 

A (j + 1, j + 1: w )*~*A {q t j + 1: w ) 

A (j + 1 : « + 1 (j + \ n ， q ) 

) - vij + 1) 

end 

if j《n - 2 
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L(j + 2: « ，/ + 1) = *y(_; + 2: w) 
if v(j + l ) 9^0 

L(j -f 2 ：n ,j + }) = L(j + 2 ：n ,j 1 )/ v{j + 1) 

end 

end 

end 

Aasen 方法与列选主高斯消去法在同样意义上是稳定的.这就是 
说，可以得到…个靠近 A 的矩阵之精确分解，只要 

II r || 2 /)U 其中 i 1 是=1对角阵 r 的计算值.通常，这个结 

抡几乎总是对的. 

在 Aasen 方法的实际执行过程中，用 L 和 r 来覆盖 A 的下三 
角部分.下面是的 情形： 

\ " 

A— / 32 卩 2 0^3 

^42 Ui a 4 

J 52 hi hA i^4 a 5- 

注意在此 ！> 的列均向左移了. 


4,4.4 对角选主元法 

下面讨抡分块 LDJ； r 分解 （4.4.2) 的计算.我们仿效 Bunch 和 
Parlett(1971) 的讨檢，假定 


其中 Pi 是置换阵且 .s 二1或2.如果 A 是非零的，则总可以挑选 
这些量使 E 非奇异，从面我们可写成 


PiAPj^ 



0 "I [E 0 1 T/ y E _1 C r 

J„_」U B-CE- l C T JLo I n - S _ 
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考虑到稳定忭” VX 、 的“主元”尺的选取应便得 

一 (4.4.10) 

中的元素 心被迠 当限界■为此，设 ( o , i ) 已给定，定义度量： 

㈣ 二 max a ,, 

■ .j 

= max !^ f! J . 

Bunch-[ J arleit 的选上元力案 如下： 

if "]> 部 0 

■; = 1 

选取 A 使得 ie n l 二… 
else 
.v = 2 

选取使得 k 2 i；-/.o 

end 

由 （4. 4 .10) 容易证得，如果 ,=1, m 

Ui J； I <(1 ^ a - % f 卜 {4.4. Jl ) 

荇 s = 2, 则 

- ^3 — a 

' (4.4.12) 

令 （1 _ a ] ) 2 与 (3_«)/( l _ a ) 相等，其中 （1 _ a - () 2 是对位于 
两步 >’=1 的增艮因 f , (3 - a )/( 1 _ a ) 是 .v = 2的增民因子， 
Bench 和 Parlett 得出 a - (1 + vH 7 ) A 是在极小化元素增长界的 
意义下之最佳值. 

然后，将上函给出的约化过程用到 y 阶对称阵 j 利用简 
单的归纳法可知，（4, 4. 2) 的分解存在，且如不考虑选主元的丁作 
量，则分解运算需 w 3 /3 个 Hop . 

4-4.5 稳定性及效率 

ButkM 1971) 证明了 L 述对角选主元法是勻完全选主元的高斯 
消^法同样稳定的.不幸的是，整个过程却需做„ ;/ 〗 2至 《 V 6 次比 
较运算，因为仵每步 约化押 都涉及二维 捜索. 实际的比较次数依赖 
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于 2x2 矩阵主元的数目，但一般情况下计算 （ 4.4, 2 ) 的 
lett 方法要比 fe 慢的多 . 参见 Harwell 和（ ^ 0 啡 (1976). 

BameU 和 Kaufman 的对角选上元方法却不存在这个问题 . 他 
们的算法中每步约化仪需搜索两列 .# 虑约化的第一步便可充分 
说明这一技巧 . 

« - (1 ^ A =- ! a ri I - maxf | 叫 i ，…， I a 7jl U 

if A>0 

if I a ii J>fiA 
s-l;P l = I 
else 

(7= Itiyl 二 maxi |a lr | ， … ， |a r - lf , I ， l«,- + i, r I ， ■-.‘ ， a nr \ \ 
if cr 1 a n I ^aX 2 ， 

■'f ~ 1 » P i ~ / 
elseif I a rr I 
Fl, 选取 Fi 使得 
else 

s=2 , 选取 Pj 使得 & 

end 

end 


end 

Harwell 和 Kaufnwi 算法总体上需要 ra 3 /3 个 flop，0( n 2 ) 次比较, 
而且和本节其他算法一样 需要、 2 /2 个存储单元. 

例4 . 4 . 2如果将 Ikrwel 1-Kaufman 算法应用于 
"1 10 20 " 

A= 10 1 30， 

-20 30 1- 

则第 一步有 A 二20彳=3, ( 1 = 30，：^二2.置换阵/ > =[ (?3 ., ( > 2 / 1 ]的 
作用结果为. 

"1 30 201 

PAP t = 30 1 1 Q |. 

JO 10 I 」 
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然后一个 2 X 2 的主元用来产生如下约化 


1 1 

0 

Oi 

"1 30 0 " 

PAP r = 

i 0 

1 

0 

30 1 0 

L .3 I 15 

.6563 

1_ 

_() 0 -11.7920」 


_ 1 

a 

°下 

r 


□ 

1 

0 


1 


,6563 




4.4.6 关于平衡方程组的说明 


有一类重要的对称非定矩阵形如 

C 叩 

b t oip 


A 


(4.4.13) 


其中 （：是 对称正定阵， B 是列满秩的.这两个条件 保证丫 <4是非 
奇异的. 


当然，本节的那些方法同样适用于4 .似是这些方法没有利 
用 k 这类矩阵的特殊结构，因为选主元方法破坏了(2,2>位置上的 
0块，下面的方法尝试利用4的分块结构 特点： 

( a ) 计算 C 的 Cholesky 分解 C : GG T 

( b ) 从 = B 中解出尺 ㊀ 乂心力 

( c ) 计算 K t K = B t C _1 B 的 Cholesky 的分解 

于是 


A 


G 0 

k t h 


G 
_ 0 


K 
HJ 


理论上，这种三角分解可用来求解平衡方 程组： 



(4.4.14) 


然而，考察 （ b ) 步和 （ c ) 步可清楚看到计算解的准确性依赖于 
且其值可能比大得多.人们已对这一情形进行了仔 
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细的分析并提上了许多利用结构的算法.在本作的最后列出了此 
方面文献的简要回顾. 

在结束本节之前考虑 (4. 4. 14) 的〜个特例，此例清楚地指出 
〜个算法是稳定的意味着什么和扰动分析如何能够引导人们寻找 
更好的方法.在许多重要的应用场合 s =o，c 是对角阵， a 解的 f 
向量 y 是非常重要的.对 (4.4.14) 做变换 d 可表示为 

1 B t C x f . (4.4.15) 

此式看上去再一次让我们觉得 〃（C) 对计算出的: v 值的准确性有 
影响.佰是，可旺明 

II (B T C B) A B T C 1 II (4.4.16) 


其中上界如是与 C 无关的，这表明 J 对于 C 中的扰动是不灵敏 
的.求解此向量的稳定方法应遵循上述原则，即计算 得的: y 值应 
是不依赖于 C 的. VavaisisC 1994) 给出了一个具有该性质的方法. 
它涉及仔细地形成-个矩阵，其列向量是 BTC — 1 之 
零空间的一组基.然后，求解线性方程组 



这保证/=办+ 于是 J5 T C -1 /=B T C M J^v， 故知 （4 乂 15) 成 

立 ■ 


习 题 

4.4.1 证 明：如 果一个 nX n 对称矩阵 A 的 IX I 和 2X2 阶主子阵都 
是奇异的，则 A 为零矩阵. 

4.4.2 证明 ：如果 A 是正定的，则 Bimch-Kaufman 算法中不会出现 2X 
2主元. 

4,4-3 重新设计算法 4.4.1 使得计算过程中涉及 A 的下二角部分，对 
j = t ： n 以 a ( j ) 梗盖 ， j )， 对 j = 1: n - 1 以 /3( j ) 覆盖 A(j + ,对 j = 

2: n-l 和 i = j + l : n ， 以 1^(! _ ，_^)搜盖4(1 1 ，） - 1). 

4.4.4 假定是非奇异的，对称的和产格对角占优的，写一个 
算法计算下面 分解： 
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R 0 f 1 S 1 : 

s M」- 0 j' 

m 为非奇异的 F 二仂阵， / I 是置换阵. 

^ _ J " ^ n A 叫, ! 

L 4 2 ] - A 2 2 -1 p 

n P 

是刈称的并 H /^和 a 22 足正定的，则 A 存在一 个 ldl 1 分解， w 有 

o ^ L Di °l. 

Lo d 2 1 

其中■^和 D 2 € VO 的对角元都为正. 

4.4.6 证明 （4.4.11) 和 （4,4.12), ' 

4.4.7 证明-(矿（：- 1 丑）-_是 4-1 的（2,2)块，其中 A 由 （4.4.13) 给 

出. 

4.4.8 本题考虑 (4,4.15) 的特殊情形，定义矩阵 
M(ft) = (S C" l B) 1 , 

其中 c-(i Fr + «^), a> -], 并 a ~-夂（：，是）（汴意 c 是将 Q 加到单位 
阵的第 U,々） 个元素），假设 se； 的秩为户，证明 

M(a) : (B t B) 1 B 1 ( 1„ - - - a - j- — (^u' T ) , 

其中 ^=( i „ - b ( b t b ) 证明 ：如果 IU . || 2 = 0或 iU , |1 2 「1，则 

II M( a ) || 2 二 j A ra: /B) ， 如果 0< |1 比 H 2 < 则 

llMU)!l,^max| ，1 + -J^Y 2 |/^ n Ce), 

从而 li M(a) f | 2 有着与 a 无关 的匕界 
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M. T. Jones and M. L. Patrick( 1993) - ^Buiich-Kaufuim Factorizaticxi fur Real Symmetric 
Indefinite Banded Matrircs , ，r SJAM J - Matnx Anal. App!. 14 ,553 — 559. 

由十在选主元的过枵中必须对还末处理的列进行扫描，因此要获得一个含有大屋 
fiaxpy 远算的对角选卞元算法很困难 （M 然坷能）-畀 /j 曲， Aaser! 法很自然地含有丰 
富的 gaxpy 运算.这两种方法都有分块形式 .I.APACK 利用了对角选主元法.不同的效 
率在下述文献中有 讨论： 

V.Barweii and J. A. George( 1976). **A Comparison of Algorithm. 1 ! for Solving ： Symmetrk. 

Indefinite Systetns r>f Lin«\r EqimlionK, 1 ACM Tram - Math . Sofi . 2 ,242 - 251. 

M. 1'. Jones and M, L- PalritkC 1994). KacToring Symmetric Indefinite Matrices on High- 
PcrfomiaTiCJt? Architjectutt i s T ， 'S/AM j . Matrix Anal AppL. 15,273—283 

另种经济的迭主元策略利用丫基 T 一种更不严格的交換法则的误#限,这种思 
想是从稀疏阵的消去法中借用的，参阅： 

R. Fletcher { 1976 ). u Factorizing Symmetric Indefinite Matricts, " Lin^ Alg. and Its Ap- 
plic. 14,251—212. 

在求解对称 A 程组之前，应当对 A 进行平衡处理 .一 个实现这个任务的 
0(7^) 的箅法在下述义献中 给出： 

J. R. Eiunch(l97l) . 11 Equilibration of Synimetric Matrices in the Max-Nom , ，T J ACM 18 , 

56b—572. , ' 

与 对称不定方荇组类似，存在 求_ 反对称方程组的解法，请参阅 
J,R. Bunch(l982). U A Note on the Stable Decomposition of Skew Symmetric Matrices," 
Math. Comp .138 ， 475—480, 

戈于平 衡方程组的文献分散 t ■它在其中起重要作用的儿个应用领域.揹明这呰文 
献出处的很好的综述文章 包括： 

G, Strang( 1988)- “Framework for Equilibrium Equations , SIAM Revietu 30,281 — 297. 
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S. A. Vava^is( L994),Stable Numerical Algorithms for Equilibrium Systems/' SIAM J r 
Matrix Ar^l. Appl p J5,l K)8 — 1131. 

其他文章包括 

C. C, Paige (1979) ， “F^t Njmcrically Stable Computations for Linear Least 

Squares Problems , ，7 SIAM J . Nwm. Attal , 16^165 — 171. 

A Bjorck and I. S. Duff(1980) ■ “A Direct Method for the Solution of Sparse Lin^r Least 
Squares Problems, "Lih . Al^ r and hs Appl^c . 34 t 43 一 hi ， 

A Bjorck{!992). Pivoting and Stability in tKe Augmented System Method ，” Proc&dinf^ of 
the 14th rhinde^ Conference t D. F. Griffiths and ti. A. Watson(aia) T Longrrw. Scientific 
and Technical T R^sex ， U ■ K, 

P. D, Hough find S. A. Vavasis( 19%) ■ ^Complete Orthngoml Decomp<L«ition for WcigKtcod 
Least Squares SIAM J r Matrix Aruil Appl , to appear, 

这些文章中的有些应用厂 K 阜和 §12.1 将讨论的 QR 分解和廉小一 - 乘思想， 
结构中富含矩阵运算和优动理论的问题，在寻求稳定有效的苒法方面拘当最重角 

色，对平衡方程组有类似于 (44 + 15) 的儿个重要结 # ，它们为最有效的摔法英基■参阅 

A. Forsgrai(l995). w On Linear Ltaht-Squares ProbJems with Diagonally Etommsnt Weight 
Matrices,Technical Report TRITA-MAT-1995-OKl* Department Mat hems tiw t Royal 

InstituLe of Techrmlfigy 1 S 100 44, Stockholm, Sweden, 

和其中所给出的文献，对 (44-15) 的吋论可在下文中 找到： 

F. W. Stcwart(l989). w Qi Scaled Projections and Piieudoinverses t H Lin r Aig r and In Ap- 
piic r 112 t lS9—193. 

D. P. O r Leary(1990). "(>i Bounds for Scaled Projections and Pseudoin verses/ Un. A/g. 
arul Us Applk A32 ， 115—117- 

M. J. Todd (1990). "A Dantzig-Wolfe-like Variant of Karmarker's Imerior-Pcint Linear 
Programming Algorithm t ，P Operations Research 38 ,1006 — 1018. 


§4.5 分块方程组 


在许多应用中出现的矩阵都具有可利用的分块结构.作为一 
个例子，我们讨论形如 


D y F! … 0 - 


工 r 



Ei D 2 •. : 


工 2 


b 2 

i ■+ ^-1 





-0 … h D„ „ 




人 - 


(4.5.1) 
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的分块三对角方程组.在此我们假定所有的分块都是 的，々 
和 6 t 都属于^^.本节我们讨沦求解此类问题的分块 LU 方法和称 
作循环约化的分而治之方法，同时简单介绍 Kronecker 积方程组. 

4.5.1 分块三对角 LU 分解 


先来考虑 (4.5.1) 中矩阵的分块 LJ 分解.定义分块三对角阵 


Fi *' 


\ n- 

Ek-\ D k 


(4.5.2) 


Lo … L 


oi rUi F t … o 

i 0 U 2 •、 i 

J」Lo … 0 v n 


中的分块阵，可得求 L 和 G 的算法 如下： 
t / 产 Di 
for i hn 

从 二 E ,] 解出 L^ x 

t/, = D ,，一 L/-1^,-1 


(^5.3) 


(4.5.4) 


只要 G 是非奇异的，这个过程就有定义.例如，当矩阵…， 
是非奇异时,这就能够得到保证. 

一旦算出 （4.5.3) 的分解， （4.5. 10中向量 x 可通过向前和向 
后消去来 求得： 

yi 二 h 
for i — 2^ n 


' 199 - 


yi 二 h - Li m 

end (4.5.5) 

从 Ua = %解出 a 
for i — n ~ i ' 1 : 1 

从 L/A = % _ P> ; + 上解出工 , 


end 

为执行 (4.5.4) 和 (4.5.5)， 每一个 Ei , 必须分解，因为需要求解以 
这些子阵为系数的方程组.这 uj 通过选主元的离斯消去法来实现. 
然而这却不能保证整个算法的稳定性.只需考虑分块大小7为1 
的情况便可看出这点. 

4.5-2 分块的对角占优方程组 

为得到令人满意的和 G 的界，冇必要对分块矩阵做一些 
假设.例如，假设对/ = 有分块对角占优的关系： 

II or 1 11 1 (；l t'i -1 if I + if e, if i) < i , f 

- (4.5.6) 

那么存在 (4.5.3) 的分解， 11. 叮以证 明 L ; 和 U , 满足不等式 

II U II, <u (4-5.7) 

II V , II ! < IUH (4.5.8) 


4.5.3 分块解法与带形解法的比较 


到此我们很容易提出这样的问题，为什么小 1将 (4.5.1) 中的矩 
阵 A 简单地看作是一个带宽为 2q - 1的 X 啊的元素为标里 
的矩阵呢？可应用 §4.3 中给出的带高斯消去法解之.这样求解 
的效率依赖于分块的维数和每块的稀疏模式. 

我们通过 个 很简单的情形来阐明这一点，假定需求解 


(4.5.9) 


ri>i FqrUM 
Lii ：! _ “ 2 」’ 

其中 Di 和 I > 2 是对角阵， h 和坞是二对角阵.假定每个分块都 
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是 《x w 的，也假定逋 H (4. 5.3) 和 （4. 5. 5) 汞解 （4. 5.9) 是“可靠 
的”. 注意： 

t/i = D !， ( 对角） 

L l ^E ] tJ l \ ( 三对角） 

U 2 = D 2 - I iF t , ( 五对角） 

yi = ^i . 

U 2 工 2 = y2, 

= >>! ~ F\X 2 - 

于是，由最初的带状分块阵通过简单的《阶矩阵计算便可求得 
解- 

M —方面，将带高斯消去法机械地应用于 (4.5.9) 会因方程带 
宽为〃十 [ 而耗费人量不必要的计算和存储空间，然而，我们指 
出，通过置换矩阵 

P = + 1 (4.5. 10 ) 

将方程组行和列进行置换，吋以发现（以《 = 5为例 h 

"xxOxOOOOOO" 
xxxoO () 0000 

OxxxOxOOOO 
xOxxxQOOOO 

T 000XX, X0X00 

PAP T : 

00>^0xxx000 ， 
OOOOOxxxox 
OOOOxOxxxO 
QOOOOOOxxx 
.0 0 0 0 a 0 X 0 x x_ 

此矩阵的上带宽和下带宽都为3,因此对矩阵 A 的 该置换 形式用 
带高斯消去法就得到- 个很 合理的算法. 

M 缩带宽的置换是很重要的问题.清参考 Georage 和 Liu 
(1981，第四章）.有关求解分块三对角方程组的详细讨论，请参阅 
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Varah ( 1972) 和 Gec ^ rge ( 1974). 

4.5.4 分块循环约化法 


接下来给出分 块循环约化法 ，它可用來求解分块三对龟方程 
组 (4.5.1) 的某些很重要的特例.为简便起见，假定4具有如下形 
式： 


A = 


D 

F 

… 0 

F 

D 

' : 

z 

■. 

*■. F 

0 


F D 




(4-5-11) 


其中， F 和 D 是矩阵且满足 = 同时假定^ = 2^-1. 
这些条件在许多重要的应用中都是成立的，如矩形域上 Poisson 方 
程的离散化.在这种情形下 


_ 4 - 1 

-1 4 

D= 

_ 0 … 


-； VJ 


(4.5.12) 


且1^= - &.整数《由网格的大小决定，通常可选为具有形式《 = 
2*-1(当维数不是这种形式时， Sweet (1977) 给出了处理 方法乂 
循环约化法的基本思想是将问題的维数反复地减半，直到得 
到一个关于未知子向量:的？％^方程组.这个方程组通过标 
准方法解出.前面消去的 A 再通过向后回代法解出. 

考虑《 = 7情形足以说明方法的-般 情形： 


b[ = Dj：i + Fjo 2 , 

厶 2 = Fxi + 0x2 + » 

63 = Fxi 十 Dxt , 十 Fjc^ , 

64 = FX3 + Dxi + FX5 j 

65 = Fj ： 4 十 ZXrs + Fj ：5 » 
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h = 


Fj ：5 + Dxs + Fj ：7 , 

Fx^ + Z)x 7 - 

(4.5.13) 

对于 f = 2,4 和6,我们分别用 F ，- D 和 F 去乘第 f -1 个，第 f 个 
和第 ；+ 1 个方程，然后将得到的方程 相加： 

(2F 2 -D 2 )jt 2 + F 2 jc 4 =F(h l + b ： > )-Db 2t 

F 2 x 2 + ( 2 F 2 -D 2 )^4 + f 2 jc b =F(b^b lt )-Db 4t 

F 2 ： r 4 +(2 F 2 — Hb 5 HDbt 
这样，用这种技巧我们已将下标为奇数的 A 消去，得到一个简化 
后的分块三对角方程组，其形式为 

D ⑴ jt 2 + F (1) j: 4 =b { 2 l) f 

F ⑴ n + D ⑴ -r 4 + =b\ x) , 

F(" 工 4 十 D ⑴〜 =b^ l \ 

其中， D a) = 2 F 2 - D 2 ^ F (1) = F 2 可互换.应用如上相同的方法， 
将这三个方程分别乘以 F ⑴， - D ⑴和 F ( l ) . 将它们相加，得到一 
个方程： 

(2[ F ⑴] 2 - Z ) ⑴ 2 ) = F ⑴⑻ 1 > 十必) ）- D (1 ， 

将其记作 

D ⑵ : c 4 : 办 ⑵. 

这样循环约化便完成了.现在求解这个（小的 ）9 方程组得到 

向量.向量 J ：；; 和可通过求解方程组 

D ⑴工 2 = W)-F ⑴工 4 , 

1> ⑴： = -F ⑴ : i： 4 

而解得.最后，应用 (4.5.13) 中第一，第三，第五，第七个方程来分 
别计算 > ri ，： C 3» M 和 ^7. 

对一般的 n = 2 k ~ l 的情况，我们令 D ⑻ = D ， F ⑹ = F t b W 
= 6,然后进行如下计算 
_ for 户 =1 :是一 1 
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F 1 ■ 户） = [ ^] 2 

''2F、 P 、_{_ \ 2 

r = 2 p 

for 7 = 1:2^ p - 1 (4.5.14) 

氺 )= 趵 - 0 0 n^- v) h { r {) 

end 

end 

然后，％由下面的计算过程解出： 

从 D (i - 1} ^ v - = b[ h n 解出 ] 
for p~ k _ 2 * _ 1 ： 0 

r 二 V 3 

for 户 1:2m (4.5-15) 

if j = 】 

c :: b\Q i), - F (ti) T 2jf 

elseif 户 2" + 1 

r 二 bm 、 r -F^、- lh - 

else 

C = F i/f) (^i Jr +J： i2j 2) t ) 

end 

M. D^ p \r lZ f -i)r = c 解出 J(2j - nr 

end 

end 

执行这些递推的「_作量在很人程度上依赖 f 和的稀疏 
性.在较坏情况，当这些矩阵是满的时，总的 flop 数为 log ( 幻^量 
级.力保证约化 H 程的稳定性，执行时须加小心.史评细的讨论，请 
见 Buneman ( l 969). 

例 4.5.1 假设在（4,5.14)中，9 = 1,1» = (4)，士'= (-1)， 

我们需要求解 
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_ 4 

〜1 

0 

0 

0 

0 

0 

1 K 

r 

— 1 

4 

-- 1 

0 

0 

0 

0 

J：2 

, 4 

Q 

- 1 

4 

- 1 

0 

0 

0 

\ !^3 


6 

0 

0 

1 

4 

一 1 

0 

0 

丨卜 

= 

8 

0 

0 

0 

- 1 

4 

- 1 

0 

丨 


10 

0 

0 

0 

0 

- 1 

4 

- 



12 

- 0 

0 

0 

0 

0 

-1 

4 

J L'^7 - 

1'22」 


通过执行 (4. 5.15) 得到约化的方 程组: 


卜14 1 

| 1 - 14 

L {) 1 


0 _ 

J0 2 

1 

工 4 

-14. 

-^6 


.-241 
-48 | ’ 
,80」 




和 

[-194l[x 4 ] = [-776]， p =2. 

则由 （4.5.16) 可得到；： 

p 二2: 4, 

P^U 2, jc 6 = 6, 

/) -0： j ：i - 1, t s ~ 5, x 1 ~ l . 

循环约化是分而治之算法的-个例子. 1.3.8 节和讨 
论了其他分而治之方法. 


4.5.5 Kronecker 积方程组 


如果 B 6 x Y v 13 ，则定义 Kronecker 积为 


r byiC 


A - B 0 C - 


621C 622 c 


b trt2 C 


b in C 

b 2 nC 

b mn C \ 


因此是一个 m X 分块阵，其 （?' j ) 块为 b ijC . Kronecker 积是 
与许多网格离散化问题相关联产生的，且贯穿于信号处理中 .Km- 
nccker 积所满足的一些重要性质包括 
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(A ) { C ® D ) = AC ( g)BD f (4.5.16) 

( A ® B ) t W _ t ， (4,5.17) 

(A ② B ) l = ② IT 1 ， (4*5.18) 

其中假定所有的乘法运算都有意义. 

与 Kronccker 积相关的是“ vec ” 运算 

_ X ( ：? 1)] 

xen-" n ^vec(X)= i e 乂訓 . 

于是，矩阵的 vec 的运算就是它的列向量“堆”起来. W 以证明 

V =* CXB T ^ vec ( V ) = ( B ® C ) vec { X ). (4.5.19) 

因此，求解 Kronecker 积方程组 

{_C 、 jc;d 

等价于求解关于 X 的矩阵方程其中 ， x = vec(XU = 

vec ( D ). 这样做同时获得了效率.为说明这点，假定 

是对称正定的.如果把 A = B®C 看怍一般矩阵，进行分解以求 

X ，则由于 B ② CGT 2 xfI \ 所需工作量为0(« 6 )个 flop ■另一方 
面，如按下面方法求解 

1 .计算 Cholesky 分解 B 二 GC T 和 C = HH T , 

2. 利用 G 从 BZ = D t 解出 Z , 

3. 利用 H 从 CX = Z T 解出 X ， 

4. x = vec ( X ). 

则需 0(/) 个 fbp . 注意到 

B®C=GG T ®HH T =(G®H r )(G(g)H) T 
是 B ㊈ C 的 Choiesky 分解，这是因为两个下二角阵的 Ki^onecker 
积仍是下三角阵.因此上述四步求解过程是应用于 B 0 C 的利用 
结构的 Choiesky 法. 

有必要指出，如果 B 是稀疏的，则在块层次上 B ⑧ C 也有相 
间的稀疏结构.例如，如果 B 是三对角的，则 B 0 C 是分块三对角 
的- 
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习 题 


4.5.1 证明分块对角占优矩阵是非竒异的. 

4. S .2 验证由 （4. 5, 6) 推出 （4,5.7) 和 （4.5. S ) 

4.5.3 设将分块循杯约化法应用于 <4.5.12) 所给定的/>，且有 F = 
-私，则产牛.的矩阵 F ( W 和異有什么样的带状结构？ 

4.5.4 假设是非奇异的，且线性方程组和点^^兄有 
解，其中二」#给定，试在 OU ) 个 flop 内解方程组 

LVJ[；]= [:]- 

其中 £1 #€胱和； 1 6及^ 1 给定，系数矩阵4,非奇异.汙找一个快速解法是否 
成功是一个复杂的问题，它取决于 A 和4,的条件数以及其他因素. 

4,5.6 证明（4.5.16)~(4.5」9) 

4.5.7 说明如何由 B 和 C 的 SVD 分解构造 B ( g ) C 的 SVD 分解. 
4*5.8 如果 A , B 和 C 均为矩阵，则可以证明 
C ), 于是我们可以只用 A ® B ® C 代表这个矩阵.说明当 A ， B 和 C 均对称 
正定时，如何求解 （4® B © C).r = i 

本节注释与参考文献 

下述文章对分块矩阵运算的许多细节做 f 详尽 探讨： 

J. M, Varah(l972). “On tKe Solution of Bloc k -Tridiagonal Systems Arising froon Certain Fi- 
nitc-Diffenence Equations. Comp, 2^,859 — 86S, 

J. A. Gearge( 1974), “On Block Elimination for Sparse Linear Systems 5 ^ SIAflT J - Nurn. 
Amil.Jl *585—603, 

R ■ Foruer(l9S4). “Staircase Matices and Systems ， ._ SIAM Review 26 T 1 — 71. 
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straints, SIAM Sci. and Stat. Comp. 6 y lS2 — 192. 
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D. G. Feingold and R. S. Varga( 1962). “Block Diagonally Dominant Matrices and General¬ 
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涉及循坏约化思想的早期方法见于 

R - W , tixkney ( 1965 ). **A Fast Direct Solution of Poisson s Equation Using Fourier Analy - 
sis /； + ACMJ 2,95—113. 
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H I. Ru/boc, d H, Ck>luh T ^nd (', W. NicUjn ( 1^70) “On Direa Mtihods for Solving 
Pr»isson + fl Kqii?ilions T '"SM.M j . Num . An^l . 7 h ft27^ - t>5h . 

右端向 fi 的累枳必须 仟 细处用 U 朴则 会产屮 杞确严 f 人丄 -. 解决这 trn ] 题的-个 

稳定办法见 

O- BUneowi( 1969). 44 A Compad Non-Ilenilivt 1 Poiisjn Sulwr ■” R l s ]xM 294 + Sianbrd Uni¬ 
versity Institute for PlfiHmfL Rcscarrh + Stainford,〔Vilifomia. 
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SIAM P ,24S—261 

li.L BuzW.F W Dorr.J-A G ⑴ 柳厲1 G H GdubC 1971) "Tho l Wt ^intiori of rho 
Diturtle Puissyn E^utuion (jti Irregular Rcgion^/'.SMjVI J .Vu"i ■ . S ,722 —736. 

F. W.Durr( 1^73). +l The Dirtri Sc-jiution of ihc Discrete IV>isson Kqiiation m (}{n 2 ) Opera- 
lions /"SIAM RmVrjy /5 ,412 — 415. 

P. G>ncus and GAl, Goluh( 1973). “Uwof Ris[ DirtcL Mtlhuds Tor llit Effinttil Mumtnfal 
SolurioQ of Nonscparablc Eilipitc t^rntLans，’’SJA/W J - Sum - Ana/ 川， 1103 — 1130 

H. L. TWbt j e and W」lJnrr( 1974). “The Dirret Solution of the liiharmc^mc Eqtoation on 
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AtuiL H ,753—763, 
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R IN. Swaiztraubcr and R, A, Swecif 1993) “The Direct Sulutiun of ihti DiSL'rete Poisson 
Kq ⑽ ion on a I Xsk:, M SIAM j . Nu?n , Anal . 10 ,^00 — 907. 

R t A」Swef'l(1974) ■ “A (Uncial ized Cyclic Reduction Algurilhni. ” SIAM J ■ Ana/. 

n ,506—520. 

M.A.Diatmnd and D. L. V. F>rrcira(1976). w On a C/dic Kcduciiun Mel hod for Solu- 
Lion of Poisson's Kqiiatinn, P， .SIAM j . Sum , Atial . J 3 1 54 — 70. 

R. A. Sw^ei{ ] 977 ). 14 A CycWc Reduction Algonthm for Solving Block Tridia^ofifil Systems 
of Arbitrary Ditneriiiutt T " Si AM J. Nun Ann l ■ 14 、 706 一 -720 r 

R NL Sw^rztraubcr and R, Swt et( 1989). ^Veclor arid Par^lk l Methods for the Uirnzt Solu- 
lioti af Polason'g Equal ion T ' J . Comp ■ Appl - Math - 27,241 — 263 

S. fiondcli and W, Gander (1 C J94), ^(Vclic: Reduction for Sj>eciul Tridiagonal Systems, P， 
lSJAM J , Matrix A^ia! - Appf . 15 321 — 33(] ■ 

对于_些山捕圆形偏微分力-程导出的矩阵来说，分块消去法对应于其网格的自然 

的运算，此方法的一个典型的例 T 是嵌套分割方法.见 

(>eorge( 1973 ) - “NdM Dissection of a Regular Fiailt" Fltft^ern " lSMJW j , Num r 
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Anal. /0,345—363 - 

我们指出如卜—的综述件交葶 

J.R. Bunch(IQ76). "Block Methods for Sdvig Sparse Linear Systems,”in Sparse Maths 
Camputat 訓 ，L R. BuiK'h and D. J. Ruse(eds), Academic Pn?“ss, New York. 

习题 H4 中给出的加边线件方程组在下述支 荜中讨 论 ：- 

W.Covfit-rrs and J, D- Prycc{ 1^90). “Block Eliinit^xinn with One Iterative Refinement 
Solves liordered Linear Sys1.ern& Accurately f f> BIT 3f ), 490 — 507. 

W, Ckivaerts( 1991). ^Stablt* Solvers and Bluck Elimirusliwi for liondered Sysitoins , T， SIAM 
J. Mairix Anal. Appi 12 ,469 -483. 

W. GovHert.s and J, D. 1993) - “Mixed Block Elimination for Linear Syslems with 

Wider Rordcrs ,"IMA J . Num . Anal , 13 ( 161—ISO. 

Kronccker 积的参考文 献包食 

J [. C. Andrews and J. Kane(1970)」"Krunecker Matrices,CoJnputcr ImpleTTienmtioii, and 
C^ncralized Spectra, V - Aiiiif. f bmput - Macfi ■ 17 1 260 — 26H. 

C.dc Boor(1979). "Efficient tbmputer Manipulation uf Tensor Products," ACM Trana 
Math,Soft.5,\lZ—\^2. 

A, Graham (198L). Kwnerker PrfiduiU and Matrix Calculus imth Appiicatiom , El Us Hor 
wood Ltd, , Chichesitcr f England - 

R V. Henderson and S. R. Searle( 1^81). *Thp Vct-Pertnutation Matrix, Thr Vec Opera¬ 
tor ,and Kruneck^r Procluci^ : A Review , *' lAnear and Multilinear Atgebm ， 9 ， 27' — 
288. 

P, A. Regale and S. Mitn.( 1989) "Kiuiiecker Product,Umrary Matrices, and Signal Pm- 
ccHsing Appiications/'S/AM Hevieu ： 31 r 5H6-—6L3 

§4.6 Vandermonde 方程组和 FFT 

假定: + 形如 

'I 1 … 1_ 

工 0 n … X „ 

V= … ， -r n )= : : : 



的矩阵 ye> (fl + 1) ^ (f,4 U 被称作 Vandemionde 矩阵.本节我们讨 
论如何在0(« 2 )个 fLop 内求解 V T a =/=/(0 : ”） 和 Vz = b = 
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WOM) 问题.同时简单介绍厂爵散的 Fouri^ ■变换.这种特殊且很 
宽要的 Vandermonde 方程组具有递妇的块结构可在 O(wlogrt) 个 
Hop 内解出 1 本节中的向量和矩阵下标均从0开始标记. 

4.6.1 多项式 插值： V T a =/ 

Vandermonde 方程组出现在许多近似和插值问题中.实际上， 
快速求得 Vandermonde 方程组的关键是要认识到解 V T a == /等 
价于多项式插值.这是因为，如果 V T a=/ 且有 

* (4.6.1) 

厂 0 

则对于 i = 0: « ,有 (弋 ) -■=/,. 

如果 A 是互异的，则呵对插值点（仰， / G )， 构造 
-个惟一的《阶多项式.因此只要^是丌异的，则V是非奇异 
的.在整个这一节我们都假定此条件成立. 

计算 (4.6.1) 中+的第一步是计算插值多项式 f 的牛顿表达 
式： 

p ( x ) =公 t、(I 丄 ( j ‘ - a ))， （4.6.2) 

k-{] i-U 

常数 q 是差商，可按下面步骤来确定： 
c(0 ： ^ ) = /(0 ： n ) 
for =0：« - 1 

for i - n ： - l：i + 1 (4.6,3) 

end 


end 

参见 Conte 和 de Boor( 1980, 第二章）. 

下一步任务是由 c(0: ?r) 来产生 a(0: n )，通过迭代 

p n ( jr ) = c n 

for k ~ n - 1; —1:0 

pk(^) = 一 a k )pk + i ( 工 ) 
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end 

来定义多项式九卜），‘..，如 （ i ). 我们观察到.写 
出 

p k { x )^ a { k) + a{ k ^x +… + 

令方程 p k = c h f Cc - 饵 + 1 中 j ； 的相同幕次项相等，得到下面 
求系数 af 的递推 关式： 




for 走— 1:_1 j 0 


a [ k ) ^ c k - jc k ai k + \° 

for + 


a 卜 ar 0 ，” + V ) 


end 


4 )W + 0 

end 


于是，系数 A 

= 可按下面步骤求得 

( 2 ( 0 ： n ) — c {0： n ) 
for k — n —1: ~ 1 ；0 


for i - A ： « - 1 


a^a t - x^ I + l (4.6.4) 

end 

end 

将此迭代法与 (4.6.3) 合并得到下面算法. 

算法 4.6.1 给定 i (0: n)GR n + 1 具有互异的元素，/二/(0 : 
+ 本算法求出 Vandermonde 方程组 V ( x n , - ' , x „ ) T a = 
/的解并将其存储在/中. 

for 丨二 0: 片 - 1 

for i — n* t — \\k +1 

fU)^(f(i)-fU-i))/{x(i)-x{i-k-\)) 

end 


end 
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for ^ ^ 1 ： J 1:0 

for i -- ki n — \ 

/( i) ^ f( i) ~ /( / + 1) / ⑴ 

end 

end 

本算法中需 5^/2 个 flop , 

例 4 . 6.1 假设用算法 4,6. 【来求解 

-i 1 t i] T 「H rioi 

1 2 4 8 1 卜 1 __ 26 i 

1 3 9 27 ^ 一 ' 58 I ’ 

A 4 16 64j Lj. l 112' 

第一次 A 循坏计算得到户（: r ) 的牛顿形式 

p ( x )^ 10 1 16 U — 1) +8 U - I )(. r -2) + ( jr - l)(r 2 )U _ 3)， 
第二次々循环由 [10 16 8 1 ] T 解得 a =「4 3 2 t ] T - 

4.6.2 形如 = 6 的方程组 

现在考虑方程组 Vs = &为导出解此问题的-个离效箅法， 
我们用矩阵-向量语言来刻画算法 4 . 6 .1定义下双对角阵 ) 
+ 如下： 

~ J ^\ — _ 0 ___ " 

' 「1 … 0 

丨 - 《 1 

L k ( a )^ ' - 

0 : : 

1 

0 ■■* ~ £t 1 

以及定义对角阵为 

Di = diag( V" J 1 1 - xo, … ， : m ‘ i )■ 

由这些定义和 (4.6.3) 容易推知，如/=/(0^)和 r 二是 




差分向量，则 r = U T /, 其中 u 是匕=角阵，其定义为 

… AriLoCl). 

类似地，由 （4.6.4) 有 

a = L t c , 

其中 L 是单位下三角阵，其定义为 

L T ==L 0 (^) T - — 

于是，《 = 1；「1/「/,其中 V _ T = L T t ； T 换句话说，算法 4.6.1 尤形 
中 利用了 V _1 的 UL 分解来求解 V T a = /. 

因此， = A 方程组的解为 
:=V l b = U(JJj) 

通过 M 上观察得出下面的 算法： 

算法 4-6.2 给定 .r (0: « ) e ， " 1 1 有互异的元素且6二 
b (0 : n ) 6 士" + 】，本算法以 Vandermonde 方程组 V (x n ，‘ ■. ， s 
= b 的解 2 = 朱覆盖 6. 

for k = 0 m - 1 

for ?' = w ； - 1 ： jfe + l 

end 


end 

for k = w - 1 ： - 1 ：0 
for i = k + \ -n 

b { i ) - h{i x{i ^ k ~ 1)) 

end 

for i = km -\ 

b { i )^ b { i )- b{i 4 1) 

end 

本算法需 5 n 2 /2 个 flops . 

例 4.6.2 假设用算法 4.6.2 来解 
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n 1 1 r 




0 - 

12 3 4 


之 i 


-1 

1 4 Q 16 


^2 


3 

-1 8 27 64J 


_Z_v 

L 35」 


第一次 {循 环计算得向量 

L 3 C3}L 2 (2)r Jl (l) 

第二次 A 循环则计算 

l 0 u ) t z > 0 ) T i>r 12(1 ) T i > 


「 0 1 


- o - 

-1 


-l 

3 

= 

6 

-35 」 


- 6 - 


「0 n 


3 _ 

-l 


-4 

3 


0 

-35 J 


1 - 


4,6.3 稳定性 


Bj 6 rck 和 Percyra (1970) 对算法 4.6.1 和 4.6.2 作 了讨论和 
分析.他们的结论是这两个算法经常得到令人吃惊的精确解，即使 
V 病态也是如此.他们指出当插值点集匕增加一个新插值对 


U „ + 1 ，/„ + 1 ) 时，如何修改已有解.同时还给出了如何求解汇合 
Vandermonde 方程组，它涉及形如 


V - V ( xi ^ Xi , T 2 ^ r . 3 ) 


1 1 0 1 

1 J=3 

A rf 2 x \ oo \ 

Un X] 3x 2 i 


的矩阵. 

4,6.4 快速 Fourier 变换 

n 阶的离散 Fourier 变换阵 ( DPT ) 定义为 
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Vn={fjk )， f)k: 4 ， 

其屮 

oj n — cxp( - 2-k\/ u) = cos(2k/ n) ~ i-sin(2jr//i ). 

由于 W = 1, 故参数％是 1 开？ 7 次方，当 w = 4时，⑴ 4 = - 丨，且有 

11 1 1 - 

1 -i _ 1 i 
1-1 1 -1 

1 i 1 -i- 

如果 tGC 1 ， 则其 DFT 为向量 P>.DFT 在应 M 汶学和工程中扮 
演着极其重要的角色. 

如果《有多个因子，那么执行 DFT 运算吋能要比常规的矩 
阵-向量乘法运算所需的 0 U 2 ) 个 flop 要少得多.为说明这一点 
我们令《 =2%然后给出2基数快速 Fourier 变换.首先看一下偶 
数阶 DFT 矩阵，对其做置换，使下标为偶数的列都置换到矩阵的 
前部.当 n = 8时，注意到 = ^ ws , 我们有如下形式： 



如果定义下标向量 c = [0 2 4 6 1 3 5 7] ,则 
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F'U 二 


4 

(y 

(O 

\ 

s 

, 7 ■ 

CO 

W 

a) 

tw" 

CO 

1 

4 

2 


2 

, h 

J 




O) 

O) 

4 


JS 

O) 

7 



OJ~ 


O) 

O) 

1 

l 

- i 

- l 

… 1 

-1 

4 

(y 

—iO 

3 

5 

7 

OJ 

CO 

— Cx) 

— O) 

— w 

1 

4 


6 


6 

1 

fjo 

- or 

- or 

— w~ 

— w 

4 

2 



7 

5 

OJ 


~ a) 

- 




矩阵屮的线有助丁将 F n (Ou ) 想像成■个2 x 2的分块矩阵，每块 
大小为 4 X 4. 注意到⑴ 2 = 二⑴故 

, 、 0 4 F 4 1 


其中 

r l 0 0 u " 

0 cti s 0 0 

o o o4 o 

0 0 0 

丁是，如果 JT 是-个 8 维向量，则 


F^.T = F (: iC ) xic ) = 


Fa 

^4 


^4^4 1 p-(0 : 2 ： 7)- 
- n 4 F 4 \ U ( l ：2：7)- 


-1 n 4 1 r F 4 tC0 ： 2 ： 7>i 
—L/ -^ 4 J^' 4 jr(l ： 2 ： 7) J* 

这样，通过简单数乘由 4 点的 DFT 运箅 . vt 。 Fp (0:2:7) 和处 
= F 4 x ( l :2:7) 得到 8 点的 DFT 运算 y = F H x ： 
y(0：4) = y T + d . * 处， 


y(A-J) = y r ~ d . * yn - 


这里 
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d = 


CO 


⑴ 1 ， 

V. 

示向敏 相乘.-般地，如《 = 2 川 ，则:由卜—式给 
出 

y(0:4) = y T + d . 长 yn , 
y(4:7 ) 二 yT~d . ^ y B , 

其中 

J=-[l ， o， H J J T , 

yr ^ F ttt jr(0i2 ： n - t), 

此二 P /n r (1:2： « - 1). 

对于以循环执行 i : 述步骤直到 m 二〗，此时 - x ： 
function y - FFT( x ^n) 
if w = 1 

v = x 

else 

m 二 n /2; w = e 2ld/n 

yr 二 FFT(_r (G:2: w ), m); 如 =FFT( j:( 1:2: w m) 
d — [ 1, cw , " ■, co >Ji 1 ] T ; ^ - 

产 r” 

L yr~^- 

end 

这是众多 Fourier 变换算法的一神.它 有一种 非循环的实现方式， 
可用的分解来描述.实际 h ， 可证明其中 
A q = t r ^S>B Ir , L=2 q ,r= n /L, 

且 

] } D L 々 = diag(l ，， …， 。^ -1 ) ， 
l k/i ^ ^l/i } 
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矩阵 P 7 , 称为反位置换 （bit reversal permumdon ) ,我们不再详述. 
(请凹想 4. 5 .5 彳：<中关 f Kroned ^ 积 “®” 的定义）.在选样的分 
解下，_> =八可按下法计算出 胃 

x = /)， 

for ^ = 1 ： / 

L = 2 ,f , r = n /L (4.6.5) 


end 

矩阵 A , = () 每行只有两个非零儿素，这使得 DFT 可能在 
( 71 log ?/ ) 个 Hop 内完成.实际上仔细的编程仅需5« log2 w 个 flop . 
DFT 矩阵冇如卜 _ 性质： 

F 7i { = ^ F H n = X n F n (4.6.6) 

即 ： F n 的逆是通过对其元柰取共轭，然后除以^得到的，快速的 
l 〕 FT 求逆，只要将（向前）的 FFT 中出现的所冇1的根用其共轭复 
数代替，然后除以《即可得到. 

DFT 的价值在干通过将问题变换到 Fourier 空间上（通过 
F 丄使许 多难解的问题简化.然后再将 Fourier 空间上的解变换 
到原点坐标中（通过 1 ) 即可得到解. 

习 题 


4.6.1 证明如果 V = V (別，…， a ), 则 

det(V) = J\ ( jc t - 

n j ;-.-卩 

4.6.2 (Gautschi 1975a) 在？』 =1 时，证明卜面不 等式: 


II V -1 J| < max ]_[ 

o^k^T! r==fl 

当复平面上所有的 a 共线时等式成立. 


丨夕』I 


I A - A 


4.6.3 假设比=[1,%,比 2 „,…，其屮》= 2 卩 ，用冒号表示法， 
将[1，叫，^，…，」表示成 w 的 子向量 ，其屮 r = 2 q t q = l ： t . 

4.6.4 证明 （4.6.6). 
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4.6.5 将(4.6.5)中的、1:={7®^)^ 展开成两重循环，并算出所需的 
；10 4 >数，(忽略_ 3 ： = /^之细节广 
4.6.6 假设《=3切，将 

G = [ F „ (:，0:3: 71-1) Fn ( - T 1 :3: 71-1) Fn (* ,2 - 3 - n -1)] 
作为 3 X 3 分块矩阵来考查，找到各块是 F m 的加权关系，根据你找到的结 
果，写一个类似于文中2基数 FFT 变换的3基数 FTFT 变换. 

本节注释与参考文献 


我们又丁 ' Vandermonde 线性方程组的讨论取材丁以下文章： 

A. Bjorck and V r Percytfl{1970). ^Solution of Vandermonde Systems of Equations 7 Math 
Comp ■ 24 ， 893 — 903, 

A. Bjorck and T, Elfvingt 1^73). "Algorihms for C^onfluent Vandermonds Systems ^ ，T Nu- 
mer r Math .2 / , 130 — 13?, 

我们讨论的差商运算在卜书的第二章有咩细论述： 

S D. Come and C de Bcor{ 1980). Elementary Numerical Analysis : An Algorithmic Ap- 
pTXtach ， 3td ed. , Mof_iraw Hill > New York, 

该专著中含有 Algol 程序， VandcrmondeS 程组的解法的误差分析可见 
N. J. Higham( 1 987b) r ^Ern^r Analysis of the Rjorok-P^reyr^i Algorithms for Solving Van- 
demxonde Systans, Num^r r M^tk . 50 f (\l 3~632. 

N. J r Higham(1988a). “Fast Solutiori of Vandermontie-like Systems Involving QrtbogonaJ 
PolynomiaK ，’ IMAJ. Nujn . AmL 8, 473—486. 

N.J. Higham(iy90). "Stability Analysis of Al^unlhmi far Solv^iTg Confluent Vandermontle- 
likc Systems," SJAM J. Matnx Anal . Appl. - H ,23~41, 

S.G. Bartds and D. j. Higham(1992). “The Structured Sensitivity of Vandetmotide-like 
Systems ^ ” Numer ■ Mark . 62 T 17 — 34. 

J, M r Varah( 1993 ) T “Em>ts ^and Perturbation^ in Vandermonde Systems f " IMA J , Num , 
Anal r 13 ^ 1 — 12. 

关于 Vandenmnde 方程组的条件数的有趣理论结果，请见 
W. Gsutschi( 2975a). '"Noini Estimates for Inverses of Vandermonde Matrices n JVu?Wf>r 」 
Math ,25,337—347. 

W. Gautschi( 1975b) r “Optimally Qmditioned Vandemy>nde Matrices , rt Numtr r Math - 24 , 
1—12, 

本作给出的基本算法可以推广到汇合 Vandermonde 方巷组，分块 Vandefmonde 方 
程组，和以其他多项式为基的 Vandermonde 方程组 . 

G t Galimberti and V. PeneyraC 1970) ■ ^Num^nicaJ Differenliatitm and Che Sofutim of Multi- 
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dimrt^iunal VaiKlermondc Syslema, . Cotnp. 24 ,357- J64. 

(j. fialimbcrti rind V. Ir'izTcyrt ( 197 J ). 'Solving Conflueru Vand^oviondc SysttaiLis oi Hctrm- 
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H. Van dc Ve!( 1977). *' Numeru.^1 Treiiinicnr of a Gcnt'rsti^-d VtindcniKBult Systems uf 
Equaria^, T， Lin . . ami Its \pki . /7, 149—174, 

(j. H. (iolub and W. P. ran^( 1^81)- iJ 1'hc Block Dcrnmjxjiiticjn of 3 Vafidcmionde Matrix 
and Its Applirationi, ''liiT 21 ,55U -6(7. 

J 〕.（ fllveili and L, Rachel ( l l i92.) 11 A rhcbyt/hcv- Vandennundi' Solver, "L?7i. /Vg.and ll\ 
A/yp/k . 172,219—229. 

D. Calvctti RnJ L. kciflio[( 1993). “Fast lfiverson of VaiidcmioiKk-likc Mfurices Involving 
Olhogonal Polynomial, " BIT ji ,473 — 484. 

H. U]< 1 仰 4) ■ "Fflsi Solution uf Confiumi Vfuidcrmondt- Lmt-ar Sysit-tm, "SIAM J. Mutn t 
Anal . Appi. ?5 T 1277- 1289. 

H. Llj { 1 %6 ). Solmittn of Vaiidennondc-likt 1 Systems snd Q^nfiueni Vandcmoride-like ； 
Systcnris," SIAM j. Matri t Arud Appl. /7,127—J3H. 

义于 FFI’ 的史献分布广而 i L 分散 . 综 述利用 Kronetker 枳 it 论 FF【' 可参见 
t'F. Van Loan ( 1992), ibmputalionai FrameTjunrha for the Fail Fourier Transform . 
SIAM PuWiwmorLs ， PhjUddphia t RA 」 

本节要阐述的观点是小同的 FFT 刈应 DFT 矩阵不 N 的分解，这埤分解因子每行 
含 4 极少数的非零儿，敁乂称稀疏分解， 


§4.7 Toeplitz 及相关方程组 ' 

每条对角线 i: 的元素都相同的矩阵在许多应用中出现，这样 
的矩阵称为 Tcieplitz 阵■正式地说，如 r 6 ， Xff ，存在数量 
r H + i，〜，ro，".，G _，对所有？■和 j 满足\ 二 ，则 r 称作 
Tocplitz 阵.于是， 


" ^0 厂 1 

厂 2 

^3] 

S 

1 

7 

6 - 

厂 - 1 厂 0 



4 

3 

1 

7 

r 2 r-i 

厂 U 

n 

0 

4 

3 

1 

- r -3 r 2 

^-1 


-9 

0 

4 

3 ^ 


楚一个 TocplUz 阵 . 

Toeplitz 阵属于一个更大的反向对称 （persymmetric matrices) 
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矩阵类.如果 : 是关于东北-西南对角线对称的，即对所有 
Z 和_7有~二乂^^.„-; + 1 ，则称它足反向对称的.这个定义等价 
r 要求 b = eb t e ， 其中 /? = [ 〜，…， n j = /„ (: ,打 ： - 1:1)是《 x 
«的交换阵，例如 


v 0 0 r 
0010 
0 1 a 0 ' 

-10 0 0 

容易验证： （ a ) Toeplitz 是反向对称的 .（ b ) 非奇异的 Toeplitz 阵 
的逆也是反向对称的.木节中我们将说明如何细致地利用 （ b ) 使能 
在 OU 2 ) 个 fbp 内求解 ToepliU 方程组.我们主要精力将集中讨 
论 r 同时也是对称 M 」 H 定的重要情形，对 f 非对称的 Toeplitz 方 
程组及它与循环矩阵的联系，坯有离散的 Fourier 变换我们只做简 
单讨论. 


4.7.1 三个问题 


假定有数 n ， …，&满足对于 A = 1 ^，使得矩阵 


Tk = 


_ 1 … 

r k_2 

n-v 

ri 1 ... 

. 

r k-2 

n ,-2 ■*- 


n 

- 厂 々 -J r k-2 … 

r\ 

l 


是正定的（不失 一般性 ，这电的对角元素是 已单位 化的），本节介绍 
三个 算法： 

• 求解 Yule-Walker 问题 Tj = - [ n ，…， ] 〗的 Durbin 算 


法 


• 求解一般问题 T〆 = b 的 I 乂 vinson 算法 
• 计算 B 二 1 1 的 Trend 算法 

为推出这些算法，我们用^表不（ X 办的交换阵，即 £^ = 4(: ，左: 


.:m . 





- 1 : 1 ). 

4.7.2 求解 Yule-Walker 方程 


我们先给出求解 Yule-Watker 方稈的 Durbin 算法.该方程与 


一些线性预测问题密切相关.假定 A 满足 «n _ ' ，旦我们已 
求解 了第々阶的 Yule-Walker 方程组 T\y 二 _ r 二 -( n ，‘“，~) T . 
下面给出如何在 OU) 个 flop 之内求解第 U + 1) 阶 Yul^Walker 
方 程组： 


Tk E k r 

Z 

r 

r V E k 1 _ 

-a- 

U 


首先应注意 

z=T^(-r-aE k r)^y- a T^E k r 


和 


a = _ 〜 + 1 _ r T E ， - 

由于17 1 是反向对称的，= E k T k 1 ，于是 

z — y ~ aEkTk 1 广二 y 十 aEj^y . 


将此代人上面的 a 表迖式，有 

o = ~ r k + l ~ r T E k ( + aE ^) = ~ ( r k + l + r 1 E ^> )/(1 + r T y ), 


上式中的分母是大于零的，这是因为乃 + 1 是正定的，而且 



这就完成了 Durbin(1960) 算法第6步的描述，对 k = l ： n 求解 
Yule-Walker 方程组 

Tty ik) = - r ik) = [r, ，•..，々]' 

就得到如下 算法： 

- ri 

for A = 1: w — 1 

p k = l + [r ik) ] T y U) 
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ad 出 + 〆 E 0 ⑴) / 氏 (4.7.1) 

: ⑴巧⑴⑴ 


end 

本算法需3« 2 个 fb P 得到 j = . v ( 吃如果充分利用一些上面的表 
达式，可以迸一步减少工 作量： 

洱 = i + [r ⑴ ]V” 


+ [(r^- l) ) T 



ajb-l 


= (1 + [ r (n)]v 卜 】 ）） + w_ 】（ [r(r L )r-^_】y 卜 o 十 q) 

= U ct k -i(- h a k -\、 


= (] _ -O^k -1 - 

应用这个递推式得到下面算法. 

算法 4. 7, 1( Durbin ) 给定实数1二 0),0 ，…，〜满足 TT = 
( r U 」 yl )6 M " Xrt * 正定的，本算法计算满足 T v = _ ( r , T ...， r„) T 
的 

3 / (1 )= ~ r(\); 尽二 U a 二 - r ( l ) 
for ^ = 1 ： w - 1 
^=( l ~ a 2 )^ 

a = ~ ( r{^ + 1) + r(^ ： - 1 ： \) T y(l ： k)) 

： k) y( \ ： k) + ay(k i -1:1) 

^(1 : k) 
a 

end 

本算法需 2 W 2 个 flop . 为清晰起见，我们用了 个辅 助向量％实 
际上它可以省去. 


3^(1 + 1 ) 


例 4.7.1 假定我们用算法4, 7.1 求解 Yule > Walker 方程组 
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'1 0.5 0.2] 

0-5 I 0.5 . [>'! y 2 力]〜 -「 CK 5 0.2 0, 1 ] T . 
L 0.2 0.5 1 J 

循环完成后，得到 

a _ 1/15, /^--3/4. y 

然后计算 

/? = (1 - a 2 )j3 = 56/75 

a = - (^3 + r 2 yi + r { y 2 )/^ = 

y ] 1 « V 2 ~ 225/420 

z i ~ yz + ^ y \ -- _ 36/420 
得到最终 解为 ： .v = I .— 乃 ，12 ， - 5 」 1 /14 fL 

4.7.3 一般右端向置问题 

增加少许额外计算 V ，以求解右端为仟意向量的对称止定 
Toeglltz 方程组■假定对某个 A 满足1<々< 心我们已解出方程组 
Tg::b = (4.7,2) 

现需氺解 

1 」>」 

这里^ ( n ， ... ， q ) T 同上■假定第&阶 Yult - WaLker 方程组 Ta 

- ~ r 的解也巳得到.从+ ( iK k r = b 町知 

v - f ^k [ {b ~ fiE k r ) = x - /./T^ l E k r - j' + /lEj^y , 

故 

" 二 bk + 「 r r ^>- 

~^k + \~ r r E lr r - J y 
=( 心川 ' r T E^ )/(1 f r T y). 

这样，我们可在 GU ) 个 flop 内完成 (4.7.2) 到 （4.7,3) 的转换. 

总的来说，我们可以通过对々=1: n 并行地求解 T h r {k) = hi - k) 


f 


( 4 . 7 . 3 ) 


-8/151 
_ L l/l 5 j' 

- 1/28 
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来解出 J> = h . 

这就是下述算法的要点 . 

算法 4.7 ■ 2( Levinson ) 给定6 G 丨广和实数 1 = r 0 , r 11 ■ *■ , r TJ 
满足： T = ( r u _;_ )e ”“是正定的，本算法计算满足： Tj : = 6的 

3 ^( 1 ) = - r(l) ;⑴ = 6(1); j3= I ; a= 〜 r(l) 

for ^ = 1 ： « - 1 

/3= (1 - a 2 ){3；ju '= (b(k + \ ) - r(l ： k) 1 x(k ： - 1 ： l))//3 

^(l;^)-jr(l;^) + ptyik ： - 1:1) 

t , I v(\ 

X (\ : k + i) ~ \ 

1 " 

if 左 < w -l 

« = (-r(/ + l) + r(l : ^)\v(^ : - l ： l))//3 
s：(l :^ ) = v(l :^) + a y(k : - 1:1) 

,(1：, + 1) = [^ } ] 

end 


本算法需 4^ 个 flop , 向量 z 和 I ； 是为使算法淸晰而引人的，实际 
编程时可避免. 

例 4.7.2 假设要用以上算法求解对称正定 Toeplitz 方程组 


1 

0.5 

0 . 2 - 

_心1 


- 4 - 

0.5 

1 

0.5 

^2 


1 

- 0.2 

0.5 

1 - 

-工3- 

L 3」 


循环执行宄后，得到 


a = 1/15 
然后计算 

P=(l-a 3 )^ = 56/75 T 

4 =( 63 十 r x X 2 - r 2 r l )/^ — 285/56, 
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vi — xi + / AV 2 = 355/56, 

V2~ J02 + "jvi - 二一 376/56, 

得到最终解为： i = L 355, -376,285] t /56. 

4.7.4 求逆 


对称正定的 Toeplitz 阵 I ； 的最令人吃惊的性质之一是它的 
逆可在 OU 2 ) 个 fb P 内算出.为推出这个求解算法，将 rj 作如 
下 划分： 

r - J A (4.7.4) 


其中 A ^ T n ] , E ^ E Tl 


(n ， 




■v L yJ 

- i ) T . 由等式 


A Er 
Lr T £ 1 」叶 

可知 Av= - yEy - - yE(r t ，…， rl-j ) 和 / = 1 - r T Ev+ 如果》 
是第 U - l ) 阶 Yde - Walker 方程组 = _ r 的解，则这些表达式 
可推出 

y ; 1/(1 + r T y), 

-v= yEy. 

这样就得到了 ^^“的最后- 行 和最后一列. 

剩下的工作是建立求解 （4. 7.4) 中子阵 B 的元素的计算公 
式.因为 AB + £m T = f n _ h 故有 


B=A~ l -(A- l Er)v r =A~ l + 


7 


由于 >4 =乙_ i 是非奇异的 Teoplitz 阵，其逆是反向对称的.于是 


〜 M 1 )y + 

= CA 

= - 


vEl 

y 

n-i + y 

n t + 
y y 
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= K-J t n z + - ^ .)' ( 4 . 7 . 5 ) 

这公式说明尽管 B 不是反向对称的，我们可以通过所求\的关于 
东北-西南轴的反射点来计算它.连同4 1 是反向对称的事实可 
使我们“从外到里”来确定 B . 

由于描绘运算的次序相当麻烦，我们以图示的形式预览一下 
前面提出的方案.为此，假定77 1 的最后一行和最后一列已知 



这里《和々分别代表未知和已知元素，《 =6.交替利用的反 
向对称性和递推式(4.7.5)，可求出 U -1) x (^-1) 的顺序子块 
B 如下： 




k 

k 

k 

k 

k 

k- 


.当然，当求解一个既对称又反向对称的矩阵时，只耑求解矩阵的一 
个“上锲形”即即： 

X X X X X X 

x X x X {n =6). 

X X . 

由以上分析，可以给出完整的算法. 

算法 4.7. 3 ( Trench ) 给定实数 1 = q ， ■■. ， r T , 使得 = 
( r \ { 是对称正定的，本算法计算 B 二 L 1 , 只计算满足， 

和 i 卜 + 1的 ■ 

用算法 4.7-1 求解 r _ K v = 
y = 1 /{ 1 r ( 1 ：« — 1 ) T v (1 ：« — 1)) 
v ( l:n — 1) ~ Yy(n - 1： 一 1:1) 

B ( M ) = 7 

B(l ,2 ： n ) ~ v(ft -1 ： - l：!) 1 
for i — 2t floor ({ w - 1 )/2) + l 
for / — i ： n — z + 1 

(z’(《+ l ~ j )v{rt + 1 - i) ~ v(j ~ ])v(_j — i))/y 

end 


end 

本算法需 13 t 2 2 /4 个 flop . 

例 4.7.3 假设用上述算法求对称正定 Toepliu 矩阵 




_ 1 0,5 0.2] 

0.5 1 0.5 

■0.2 0.5 1 - 

的逆阵 B ， 则我们得到7 = 75/56, = 15 / 56 , b L2 = 15/7, b u = 

5 / 56,^22 = 12 / 7 . 

4,7.5 稳定性问理 


C y benk 0 (1978) 对上述诸算法做了误差分析，我们将简要介 
绍他的结果. 

关键的量是 (4.7.1) 中的精确运算时，它应满足1^1 <1, 
且可被用来对 llT-> || i 限界： 

腿 jnpUi 1 一 巧 ’ 可 :… 1 - aj) N 11 < fi I-I a■ r 

(4.7.6) 

而且，只要所有的 A 都非负， Yule^Walker 方程组= - r ( l ： n ) 
之解就 满足： 


II > II 1 = (1J_ (1 十 A))- 1 ■ (4.7.7) 

如果王是 Yule-Walker 方程的 Durbin 算法之计算解，则 r D = 
r„£ + r 可被限界 如下： 

II r D !l 々"竹 （1 + 心 ) ， 

Jt 二 1 

其中心是#的计算解.通过比较，因为每个 I r」 都是以1为界，故 
I! r c II IlylU ， 其中化是用 Cholesky 法求解所得的剩余.注 
意，如 (4.7.7) 成立，则这两个剩余的大小差不多.实际的数据表明 
即使一部分 A 小于零时的情形也是如此.对于 Levinson 算法的数 
值特性我们可得到类似的结论. 

至于 Trench 算法，可以证明IV 1 的计算逆云满足 
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iLS L - 6 ^ 
II T；^ |j , 


竹 


根据 （4. 7. 7) 可以看出右端是 p || 7/ || 的近似上界，而 
^ II T ~ ] || 之大小大约是用 Chulesky 法计算7^ 1 时的相对误差. 


4.7.6 非对称的情况 


对非对称情况可推出类似的递推算法，假定 ti 给数 n ，…， 
1和 p lt …， 九 - i ，要隶解形如： 


1 

n 

ri 

Pi 

l 

n 

Pi 

Pi 

1 

P3 

Pi 

Pi 

-Pa 

Pi 

Pi 


的线性方程组 Tx ^ b . 


广 3 





V 

厂 2 

厂 3 


X 2 


h 

厂 1 

广 2 


又 3 

= 

bs 

1 

厂 1 


•Z 4 


厶 4 

P\ 

1 _ 


-■^5 - 


-hs- 


(« = 5) 


下面的推导过程要求 r 的顺序主子阵 T k = T (\: k ， Uk)，k 
是非奇异的.使用与上相同的记号，可以证 明：如 果已有 
是 x 走方程组 的解： 

Tjy^-r=-[r L r 2 … r,] T , 

Tjco = ~ ~[ p \ P2 … 九 ] T ， （ 4 ‘7.8) 

Tjy = ~ r = ~[^i b 2 一 ^] T , 

则可在 OU ) 个 flop 内得到下面方程组的解 


飞 E k r 

T 



r 

p T E k 1 _ 


■a ■ 


r^c + i_ 


Tk E^r 

u 


' p " 

P T E k 1 _ 

-V- 


Pk + l - 


(4.7.9) 


T k E k r^ 



- b - 

p T E k 1 J 

Lw_ 


bk^r\- 
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这意昧着理抱上能在 0( T 7 2 ) 个 flop 内求解一个非对称 Toeplitz 方 
程组.然而，除非矩阵乃= T ( l :々 ，l 4) 有很好的条件数，否则箅 
法的稳定性得不到保证. . 

4.7.7 循环方程组 

有一类非常重要的 Toeplitz 阵是循环阵.以下是一个 例子： 

"^0 幻4 ^3 ^2 ^1 

^0 ^4 ^3 幻2 

C{) = V2 V] Vf) V 4 . . 

^3 ^2 ^0 r ^4 

_U 4 V 2 Vi v n _ 

注意到循环阵的每一列都是将其前一列向下移动一个位置得到 
的.如果定义下移置换阵为 

"0 0 0 0 1 " 

1 0 0 0 0 

S n = 0 1 0 0 0 U;5 )， 

0 0 10 0 

.0 0 0 1 0. 

且 u =[幻0 幻1 … ] ，则 C ( W ) = [ TN …， 

sr 1 ^]. ' 

循环阵、 Toeplitz 阵和 DFT 之间有很重要的联系.首先，可以 

证明 

C (^) = F ； 1 diag ( F ^) F fl . (4.7.10) 

这意味着形如 j = C (幻 I 的积能够以 “ FFT 速度” 求解： 

v - F n v, 
z~ i), * x , 
y = F ~ n 1 z , 

-句话说，三次 DFT 运算和一次向量乘法足以求解一个循环阵与 
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一个向量的乘积，这种彤式的积称为卷积.它遍布于信号处理及其 
他领域. 

Toeplitz 阵与向量的乘积也可快速汁算出.关键思想是仟何 
Toeplitz 阵都 nj 被嵌入到一个循环阵中.例如 

"5 2 7 
T = 4 5 2 

-9 4 5 

它是 

5 2 7 9 4! 

4 5 2 7 9 ： 

C = 9 4 5 2 7 

7 9 4 5 2 

_2 7 9 4 5 

的顺序 3 X 3 子阵. 

一^地，如 T = (~)是 Tz X ^Toepiitz 阵，则 T - C ( l ： w , 
i : W ， 其中 ce ^ … 是循环阵，且 




T (\ znA ) ' 
T {1,«：-1：2) t ^ 



注意如： y 二 Ct 且十 i ：2 n — 1) = 0,则 jy ( 1 ： ^ ) = Ti ( 1: n ) ，这 
说明 Toeplitz 向量乘积也能以 “ FFT 速度”计算出. 


习 題 


4.7.1 对任意 I € . A " 定义向量^ = U + Ew )/2 和; 

假定是对称且反向对称的，证明如果如= 则 
\ — h \ Ax ' = i ■ 

4.7.2 令 t / e / w 是单位上三角阵且有 性质： U(l：k - l,k) = E it - 1 
. v U _1) ，其中由 （4.7.1) 定义.证明 

U t TJJ 二 diH-hh 
4,7,3 假设是正交阵，证明 ：如果 
X - [ s ，； fc ， …， S " 〜]， 
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则 是 Toepliu 阵， 

4.7.4 考虑 n X „ 阶三对角对称正定 Toeplh 矩阵的 LDL T 分解，证明 
当 时乂 和 1 收敛」 

4.7.5 证明两个下二角 Toephrz 阵的乘积仍是 Toeplitz 阵. 

4.7.6 给出一个算法求出 灰使得 

T n t t ^1) 

是奇异的.假定是正定的，其中 r 0 = l . 

4.7,7 改写算法 4.7.2, 要求不使用辅助向罱^和 
4.7.8 给出一个汁算 = 1:71的算法， 

4.7,9 假定 AhAhAhA # 是的 矩阵辻 
A 0 Ai A 2 A 3 
Aq A j A 2 

A = ， 

A 2 Ao At 

^Ai Aj A3 Aq, 

证明存在一个置换阵 JT 满足 Jl T AiI = C = ( C i ： r ) f 其中每个是 4 X 4 循环 

阵. 

4.7.10 对于一个含有 m x 个块，每块大小为 pxp 的分块矩阵 A , 
如果存在 A _ pi , …，，…，七 - AF :™ 〜满足 A y = 成 」，SP 
Ao A 2 A3 

A _ 1 j 4 q Ai A2 

A — 

A -2 A-i Ao A\ 

、 A-3 A -2 A - ] 

则 A 是分块 Toeplitz 阵. 

(a) 证明存在置换阵 II 满足 

T u T 1Z Ti 

JI 1 AJI = T 21 T 22 '■ 

乂 i … T „ 

其中每个 1 ^是^^/ ) 的丫<^〗如阵，每个 l 是由屯的第 （ i , j ) 个元素组成 
的- 

(to 如 A* = A j = 1:声-1，则 A 是什么样的？ 

4.7.11 如给定 (4.7.8) 的解，给出如何计算 （4.7.9) 的解.俏设所涉及 
的所有矩阵均为非奇异的■假设： T 的所有主子阵均为非奇异的，进一步设计 
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一个快速算法求解作对称 Toepliu 方程姐 Tr = b . 

4,7.12 矩阵 m …当 H ( n : 1:1:) 是 Toeplitz 阵时称为 Henkel 
阵.证明：如果定义4为 

£； r; = | cos ( k &) cos ( Jd ) d & , 


则 A 是 Hankel 阵和 ’hjepliu 阵的和■提 /JK :利用等式 cos ( « + v ) = 
oos (" ) oos { 11 ) _ sin ( /Jt ) fe . in ( -u ). 

4*7.13 证明 F „ C(iO -- diagtFvfOf ； 

4.7.14 证明能够将一个对称 Toeplitz 阵嵌人到一个对称循环阵中， 
4.7.15 考虑 （4.7. I )中 Yule Walker 方程组 = - r ⑴的第々次 

运算 


证明如果 


L 二 





「 r 「 




r , 


!- 

一 1 : 






L ^_ 



_ 1 

0 

0 

0 … 

0_ 

, V 11 



0 

0 … 

0 


> r 21 

1 

0 … 

0 

: m 

y ^2 

3^31 

1 … 

0 

-3 ^m - 1 n n - 1 

y ” 一. 

,rf 一 2 

yn - 1 h - S 

… ^-1,1 

1_ 


则 LT ^ lT = diag ( 1 ， A ， … U , 其中 A = l + r U > V *\ 于是 IXlfbin 算法可 
被看做为汁算 T, — 1 的 LDL 1 分解的快速方法- ' 
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第五章正交化和最小二乘法 


Householder 和 Givens 矩阵 

QR 分解 

满秩的 LS 问题 

其他正交分解 

秩5损的 LS 问题 

加权和迭代改进 

正方形方程组和欠定方程组 


本章主要讨论超定方程组的最小二乘解.即 || Ai - 6 || 2 的 
最小化，其中 AGE #' 解这个问题的最町靠的办法是通过正交 
变换将 A 约化为各种典型形式. Householder 反射和 Givens 旋转 
是这种方法的核心，在本章的开始先对这两种重要的变换进行讨 
说. §5.2 中将讨论如何计算分解 A = 其中 G 是正交阵 ， K 
是三角阵.这导致寻找 ran ( A ) 的一个正交基.我们在 §5.3 阐明， 
QR 分解可用来求解满秩的最小二乘问题.给出扰动理论之后，我 
们将此方法与法方程组方法作一比较.在§ 5,4和§ 5, 5中，我们 
考虑那些处理4是秩亏损（或近于亏损）的困难情形的方法.主要 
介绍了列选主 QR 分解和 SVD 分解.在 §5.6 中，给出提髙最小 
二乘法计算解精度所采用的几个步骤. §5. 7给出 r 正方形方程 
组和欠定方程组的几个注记. 

预备知识 

假定读者已阅读过第一、二、三章和 §4. 1~ §4.3. 本章内容 
之间的依赖关系为： 


1 2 3 4 5 6 7 
5 . 5 , 5 . 5 . 5 . 5 . 5 . 
§§§§§§§ 



§5.6 

§ 5.1 — §5,2 — §5-3 — §5.4 — §》.5 

§7.7 

朴充文 献包括 Lawson 和 Hanson ( 1974) T Farebrother ( 1987 ) , 
Hj6rck( 1996 ) .还可见 Stewart ( 1973 ) , Hager { 1988) , Stewart 和 
Sun( 1990), Watkins(19’9i) ,Gill，Murry 和 Wright(1991)，Higham 
(1996),Trefethen 和 Rau(1996) t l>mmcl( 1996 ), 本章用到的重要 
的 MATUB 困数有 qr, svd , plnv,orth» rank 及反斜 杠运算 符 \ . 
LAPACK 连接包括： 


[J\PACK： Houseliolder /Givens 工具 


_LARFG 

—LARF 

— LARFX 

—LARFB 

— IARFT 

产生 Householder 矩阵 

Householder 矩阵乘矩阵 

低维数的 Houschokkr 矩阵乘矩阵 

分块 Householder 矩降乘矩阵 

汴算 f - VTV t 分块反射表示 

_LAKTG 

产生平面旋转 

一 LARGY 

产生平面旋转的向璜 

— IARTV ； 

平面旋转怍用 r 向量对 

_ LASK 

旋转作用于矩阵 

_ CSRQr 

实旋转乘复向景对 

_CROT 

复旋转（实 C) 乘复向童对 

_CLAOGV 

复旋转（实 S ) 乘复向茕刈 
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LATACK: 正 交分解 


— GEQRF 

A=QR 

—GEQPF 

An^QR 

_ORMQK 

Q ( 分解形式）乘矩阵（实） 

_ UNMQR 

Q ( 分解形式）乘矩阵（复） 

ORGQR 

产牛 0( 实） 

UNGQR 

产生 G ( 复） 

一 GEHQF 

A = = ( 上三角 ）（ 正交） 

_ GKLjQF 

A = = ( 下三角 ）（ 正交） 

_ GEQLF 

= ( 正交 ）（ 下三角） 

TIRQF 

A^RQ, 其中 4 是 卜梯 形的 

— GESVD 

A 二 U^V 1 

_BDSQR 

实双对角阵的 SVD 

_ _ GEBRD 

--- 般阵的双对角化 

— ORGBR 

产生正交阵 

_ GBBKD 

带状矩阵的双对角化 


LAPACK： 最小二乘 

_GELS 

满秩的 min 11 AX - B II j/ 或 min !| A H X - B 1 f 

_GEI.SS 

min |1 AX — B II f 的 SVD 解， 

_ GELSX 

用复正交分解求解 min 11 AX - B il F 

_GEEQU 

平衡一般矩阵减小条件数 


§5.1 Householder 和 Givens 矩阵 

由前面的知识，如果 Q r Q = QQ r - h 则 s 是正交 

的.正交阵在最小二乘法和特征值计算方面起着重要 怍用. 本节我 
们介绍两个关键的变换： Householder 反射和 Givens 旋转‘ 

5.1.1 —个 2 X 2 阵的引例 

为引出主题，先分析在 w = 2的层次上的几何旋转和几何反 
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射 .一个 2 X 2 正交阵 0 如打形式 

- cos ⑻ sin ⑻] 

- - 5in(^) coa(d) -I 

则称之为旋转变换.如果 _ V =0 T : r t 则 ~ 是通过将: r 逆时针旋转沒 
角度得到的. 


一个 2 X 2 正交阵 （2 如有形式 

r cos( sin(l?) 1 

i- sin(j?) -cos (。)」 

则称之为反射变换.如果 j =0 T i = 0 x ， 则 y 是将向量 x 关丁由 


S 


span 


o«{^/2)l I 
in ⑽）」丨 


所定义的直线作反射得到的.反射和旋转变换在计算上很有吸引 
力，因为它们易于构造且可通过适当选取旋转角度和反射平面而 
使向量中产生新的零元素. 

例 5.1.1 假定 a =「U 乃] T ， 如果令 


[ oos (- 60°) sin(-60^)1 _ [ 1/2 -V3/2 _ 

^ - sin (- 60°) ixjs(-60 °)」 J ?>/2 1/2 

则 Qx =[2,0] T . 因此 T -6 (T 的旋转使 1 的第二个分量化为零. 
如果 


rcos(30 e ) Sin (30 9 ) 1 [V3/2 1/2 

Uin(30 a ) -cos(3CT )」 |/2 ~/3/X 

则 Qx = [2,0] T . 于是，将对 30° 的直线做反射也使第二个分量 
化为零. 


5.1.2 Householder 反射 

设是非零向量.形如 

P = I (5.1.1) 

rj II 

的 nX 打矩阵 P 称为 Householder 反射（同义词： Householder 矩 
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阵， Householder 变换）.向量 r 称作 Householder 向量.如果用 F 
去乘向量 ： r ， 就得到向童关于超平面 sp miUM 的反射.容易看出， 
Householder 矩阵是对称正交的. 

Householder 反射与我们 3.2, 1节介绍的 Gauss 变换相比有 
两点类似.二者都 是笮位 阵的秩1校正形式，都吋用来将一个向量 
的某些选定分量变为零.具体地说，假设给定0关:欲使朽 
为以=1(:,1)的 个 倍数.注意，由 


P.T 




_ 2^jr 


和 Pr 6 span | 意味着 r 6 spanU ' ， e 〗丨■令 v = x + ae l t 得到 
jc = jc + ajri 

和 - 

z> T u — _r T j ： 十 2olz i + a 2 . 

因此 

„ ^ + aiTi '、 ， v v jc 

Ft = {l -2 - - _ 2a 

x jc + Zaxi + a 'u v 

为了使工 的系数为零，令«=± llxll 2 , T 是 


X ± II X II 2^1^^ 


(/ - = T II a: II - 

v v 


(5.1.2) 

正是能这样简单地确定使得 Householder 反射非常有用. 

例 5.1.2 如果 , r 二 F 3，1，5，1] t ， 幻二 [9 t l ，5,1 ] T ， 则 


P 


2 uv 


27 - 9 - 45 - 9 H 
9 53 - 5 - 1 

45 - 5 29 _ 5 

9 -1 - 5 53」 


具有性质 Px = [-6,0,0,0] T . 

5.1.3 计算 Hou^holder 向置 

有许多确定 Householder 矩阵，即 Householder 向量的重要细 
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节.其中之-是关 f 选择 (5.1.2) 屮的符⑦.关系式 

v\ — ，i _ II」，II 2 

只冇 朽 - 是 e 的一个止:倍数这一良好性质.当 . r 接近 q 的一个正 
倍数时，由于会出现严重的相消，因此这种方法是危险的.然时 
Parlett (1971) 提出的公式 



在 &>{) 的情况下能避免这个缺陷. 

实际上 ，方便 的是将 Householder 向量规范化使得 zK 〖 ） =1 . 
这就允许将存储到 z 巳化为零的位置，即 i (2 m ). 我们 
将 v (2： n ) 称为 Householder 向量的基本部分. 回忆 J 3 = 2/ v r v,R 
令 lengthU) 表示向量的维数，我们得到 下阎的 算法： 

算法 5. 1 . l(Householdcr 向量）给定'本函数计算满 
足 wU) 二 1 的 = I n - ^ v - o T 是正交阵且 P_r 

=II ^ II 2^1- 

function ： 「 w ， /? 1 二 house( x) 
n = length (； r ) 
a — jc (2 \ n ) 1 x (2 •, n ) 

,=\ / J 

L ：c ( 2:« ) 」 

if 0 

/?= 0 

else 

Ij. —^Jxi L ) 2 I- o 
if ^(t)<0 

else 

■y (1) — a /{x{\) + fi) 

end 

^2v{Y) 2 /(a^v(\) 2 ) 
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Zf = v/v{\) 


end 

本算法约需 个 fiop , 计算得到的 Househoklcr 矩阵在饥器精度 
内是正交的，这将在以下讨论.算法 5.1.1 的实用形式应预先对 
向 St 1进行加权运算 U — II.r || ) 以避免上溢 ■ 


5.1.4 Householder 矩阵的应用 

将 Householder 反射作用于矩阵时，利用其结构是至关重要 
的.如果 A ㊀ [ x ,nyi \m 

PA — ( I - ( hrv 1 )A = A - vzv T ， 

其中〜=辦^.同样的，如果1>=卜和 1 &，\则 
AP = A(l — ( km J ) — A - wv \ 

其中 *«; = § Av . 这样 -* 个 m x n Householder 修正由一次矩阵-向 
量乘法和一次外积运算组成，它需要个 fbp . 如果认识不到 
这一点，而把 P 当一般矩阵对待就会增加一个量级的工作最. 
Householder 变换永选不会出现显式的 Householder 矩阵. 

上式两种 Householder 修正中的任何一种实现时都可利用 
Wl ) = l 这一事实■在计算而 m 很小时和计算 AJ > 而《很小 
时，这个特性很重要. 

作为 Hotiselioldcr 矩阵修正的一个例子，假设我们想用 B = 
Q t A 来覆盖，其中正交阵£?的选取是保证对 
于满足的_;使得石0 + 1⑼， ^)=0, 此外，假定 AG : 州， 
l:j - 1)=0,且我们打算将 Householder 向量的基本部分存储于 
A (j + 1: m ， j ) 中，下述指令完成这项 工作： 

[ v ,^] = house ( A(j ：m f j )) 

A(j ：m r ) m ) = ( ~ ( hv 1 

A(j ^ l：m ^ j ) - v (2： m - j ^ 1) 

从计算的角度看，我们用了一个1阶 Householder 矩阵作 
用于 A 最下面的 - _; + 1行.然而在数学上，我们仍然用了 个 
■ w x m 的 Householder 矩阵 
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0 



作用于整个 A 上.无论怎样， Householder 向量的基本部分可被存 
储于4的化为零的元素之位置上. 

5.1.5 舍入特性 

Householder 矩阵的舍人特性是非常好的. WiIkinson( 1965，第 
152 — 162页）指出 house 程序产生的 Householder 向量非常接近 
真实值1^如果>=卜2^^/^乞，则 

II p - P|l 2 - 0("), 

这意味着 P 在机器精度内是正交的.而且，用 P 去修正也非常接近 
用 P 的精确修正： 

= P(A +E), || E || 2 : 0(；, || A || 2 )， 

fl ( AP ) = (A + E ) P , II £ || 2 = 0 ( M |[ A \\ 2 ). 

5.1.6 因子形式表达 

在随后的章节中将给出的许多基于 Householder 变换的分解 
算法都要计算若干个 Hoo,sehold e r 阵之乘积： 

Q = Q1G2 …仏， Qj - I - y (5.1.3) 

其中，且每个 w ⑴形如： 

v (j} = (0,0,… 0,1 办'，…， 4))' 

、 - ■ V- f 

即便在随后的计算中会涉 i 到（2,但也没必要将 （2 显式地计算 
出.例如，如果我们希望计算 Q r c ，则只需执行如下循 
环： 

for > = 1 ： r 
C=Qfi 

end 
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对 Householder 向量和相应的 ft (如果 方便） 的存储导 
致了 0的因子形式的表达方式.为说明因 T 形式的经济，假定有 
数组 + 中存储第 j 个 Householder 向量的基本 

部分 v( J 、(j + l : n ) ■以 Q T C 覆盖 CG : R nXtJ 的运算可按下述箅法 
执行： 


for j = 1 ； r 

" o：w= L(^-L^)l 


( 5 . 1 . 4 ) 


C(j : n : n ) zj(j : n ) T ) C(j : « ,:) 


end 

这需 2 qr (2 n ， r ) 个 flop . 如果显式地计算出 n X «矩阵0 ,则需 
2 a 2 g 个 flop . 

当然在某些应用中必须将 C ? 显式求出（或部分求 出）. 有两 
种计算 Householder 乘积阵0的方法，一种是向前累积： 


Q = h 

tw j=\\r 

Q ^ QQ } 

end 

另一种是向后累积： 

Q~h 

for j = r ： - i：l 

Q^QQ 

end 

回想到込的 ( j -1) x (^-1) 的顺序主子阵是单位阵.所以，在 
向后累积执行之初，6的很大部分是单位阵，随着迭代的进行逐 
渐变满.这个特征可用来减少所需的 fbp 数.相反，在向前累积法 
中，执行完第一步后 G 就变成满的了.因此，向后累积法更为经 
济，是应选的 方案： 


f or j = r ： ^ 1:1 
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假设 0 = (2 〖…仏是儿个，，X" Householder 矩阵的乘积， 
如 (5. 1.3)，由于 g 是单位阵的秩1校正形式，由 Houaeh!;ilder 向 
量的结构， s 是单位阵的秩 r 校止形式，可以写成 

Q = I + WY t , (5.1.6) 

其中 W 和 F 是矩阵.汁算分块形式 (5. L 6) 的关键在 T 下 
面引理. 

引理 5 . 1,1 假定 (>- /+ WY t 是一 "X « 的正交阵，其中 

』■如果 P 二 I - 其中 o : : _ /3 gTy ，.则 

Q t ^ QP = 1 + Yj 

其中评 + =[ VT ， z ] 和 h 二 [ V \ t ；] 均为《乂（厂卜1)阵. 

证明 

0P= (I + WY r )(l - ^vv T ) = I + WY T - ^Qmf ] 

= j + \yy T + = / 十 [w z ][y w] T . □ 

反复应用这个引理，可由 （5. 1.3) 中的0的因子形式得到分块形 
式 如下： 

算法 5,1.2 假定(2 = (2〗 …是如 (5.1.3) 所示的一系列 
n x ^ Householder 矩阵的乘积，本算法计算满足 Q - I + W T 的 
矩阵 W ^ Yekl 71 ^. 

Y=u (1) 

W = -如⑴ 
for j= 2 ： r 

z= -ft(/+ WY t )v ( ^ 
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w^[w ~] 

Y-[ Y i (J )j 


end 

如果利用 f 中的零儿素，则本算法需要 2r\-2/^/3 个 flop. 

注意到 Y 仅仅是由 Householder 向量组成的矩阵，因此，它是单位 
下二角阵.很显然，生成表小 形式 （5.1.6) 的中心仃齐是计算 
VV 矩阵， 

当2与另 个矩阵 进行运算时， irbu^hokkr 矩阵的乘积的 
分块形式就显得很有吸引力.假定 ce： 则运算 


C^Q t C = (I+ wy t ) t c--=c+ Y(W t C) 

含有大量的3级运算.另一方面，如果 C? 是因子形式， 0 T C 只是 
包含大量的矩阵■向量乘法和外积运算等2级运算.当然，关于此， 
随着 C 列数的减少,2级运算和3级运算之间的差別也逐渐消失. 


我们提到表示从几何〖:不是一般化的 Householder ■变 
换.真止的分块表示的形式为0 = J-2VV T ， 其中满足 
V T V = ，参阅 Schreiber 和 Parlett( 1987) 及 Schreiber 和 Van loan 


(1989). 

例 5.1.3 如果 n =4，r=2, 且 [l，.6,0，.8l T ,[(M,,U] T 
分别是与 Q 1， Q2 相关的 Householder 向量，则 


+ wr T =/ 4 + 


一 1 

1.080 - 

-0.6 

-0.352 

0 

-0.800 

-0.8 

0.264 - 


1 0.6 

0 1 


0 

0.8 


一 0,8- 
0.6 - 


5.1.8 Givens 旋转 

Householder 反射对于大 M 引进零元是非常有用的，例如，消 
去一个向量中除第一个分量外的所有分量.然而，在许多计算中， 
必须有选择地 消去一 些元素 .Givens 旋转就足解决这个问题的丄 
具.这些矩阵是单位阵的秩2校正 形式： 
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GU ， k ， e ): 


\ o 


-0 … 0 … 0 


(5.1.7) 


i k 

其中 ^ = cos (^), s = sm ( e ) f 显然 Givens 旋转是正交变换. 

用 G G j J ) T 进行左乘产牛一个在 （/ j ) 坐标平面的没孤 
度的逆时针旋转.实际上，如果二 尸心 （ W 』) T r ，则 


■ CJ , - ST k , ) ~ 1 , 

乃二 + 3 = k ， 

1 j ：” j ^ iyk . 

从这组公式很清楚知道我们可以通过令 





—工 k 


(5.1.8) 


而使％为 0. 因此，使用 Givens 旋转很容易就可将一向量的某个 
指定分量化为 0. 实际上还有比 (5. 1 .8) 更好的方法来计算 c 和 I 
例如，下述算法能防止溢出发生. 

算法 5.1,3 给定数量 a 和本函数计算 c = oas (0)和 j = 
sin (沒），使得 



function : [c , ^= givens {a f b) 
if b=^Q 


c = 1 ； 5=0； 


else 

ifiAl >l«! 
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t= ~ a /h\ s - 1 /v 7 1 4 r 2 ; r - st 

else 

r == ~ b/a \ c = 1 N 1 + T " 2 i s = cr 

end 

end 

本算法需要 5 个 flop 和一次求平方根运算.注意其中并没有计算 
心因此不涉及反 n 角函数. 

例 5.1.4 如果 .t = 『 1 ， 2,3,4] t ， co« (6) = 1//5 ysinid) = 
-2/J5,M G(2,4,^)x - [l,/20 f 3,0] T . 


5.1*9 Givens 旋转的应用 


当应用 Givens 旋转矩阵做乘法运算时，关键是要利用它的简 
单结构.假定力三，，〜/ = «53(幻，.;= 411(们，如果 G ( i , k t $)^ 
则修正 A — G ( i , k ^) r A 只影响 A 的两行 
- 1 T 

: ) = C S A ([ j ^],：), 

L 一 j C 」 


且只需 6 ?i 个 flop ： 
for > = 1 ： w 

r ! = y \( i ,;) 

Z2^ ^ ij) 

A(1 ,j ) = cr! - st 2 

Ail,] ) = ^! - CZ 2 


同样，如果 G(f '则 修正 A—AG (/ 只影响 A 

的两列 




具 H 需 6 m 个 flop , 

for > = 1 : m 
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= A(j ， r-) 

[2 = A(j ， k) 

A{j ,'i) = CT\ - ST2 
A(j,k)= > T ] CT2 

end 


5.1.10 舍入特性 

Givens 旋转的数值性质与 Householcfer 反射一样良好.确切地 
说，可以证明 givens 程序的计算解 c 和 y 满足 

? == r(l 寸 （ ）， £, 

$ 二 s ( I + e s ) ， e 5 = 0("). 

如果接着用^和 f 进行 Givens 变换，则计算所得的是一个近他矩阵 
精确 修正： 

fl[0U,k t 9) T A] = G(i i k.0) T (A+ E), II |U || 2 , 

jl [ AG ( i , k ,6)] = (A 4 E ) G { i , k , B ), Hi ； || A II 2 . 

Givons 旋转详细的误差分析可在 Wilkinson ( 1965,第13 1 —139 
页）中丧到. 

5.1.11 Givens 旋转的表示积 

假定0二 Gr - C , 是若7:个 Givens 旋转的乘积.正如关 T 
Householder 反射所看到的，将正交阵0保持为因子形式要比显 
式地求出其乘积更为经济.应用 Stcwan 提出的技术，可用一简法 
的方法做到这一点，其思想是将每 个 旋转变换对应于一个浮点 
数广具体地说，如汜 

rW =1 , 

L _ 夂 C . 」 

则定义数量 如下： 
if r = 0 
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elseif f .v I < I c I 

p - sign ( c ) s /2 (5,1-9) 

else 

p = 2 sign { s)/c 

end 

实质上，相当 丁当正 弦较小时存储 s/3 ，余弦较小时存储 2 々.按这 
种对应关系，可以重新构造± Z 如下： 

if /> = 1 

=0； 5 = l 

elseif I ^ 1 < 1 

s -2 p ； ~ p - (5,1.10) 

else 

C = 2p; s — \/~l - c 2 

end 

这样也许会导致产生 _ 2, 不过这无关紧要，因为如果 Z 能使矩阵 
的某个元素变为0,则 -Z 也能做到.把^和、，中的较小的数存储 

起来的最根本理由是，如果X 接近1,公式的精度就低得 
可怜.在 Stewart(1976) 的著作中可以找到更多的细节.当然，为重 
构除需相关连的 p 外，还需 i 和 6的值.我们将在 
5. 2. 3节中讨论，这并没有什么困难. 


5.1.12 误差积累 


我们简要讨论当算法涉及一系列 Householder 或 Givens 变换 
时的舍人误差积累.精确地说，假定给出4 7 f 〜，并且矩 

阵是利用 

Ak = JH QtAk - 1 之 ） k = \' p 

产生的.假定么 m k 的产生及应用都使用上述的 HousehoMer 和 
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Givens 筹法.设仏和 A 是没有舍人误差的情况下产亇的正交 
阵，能够证明， 

^ = (Qp - Q^iA+EXZr- z p 、， ( 5 丄 11 ) 

其中 1] lU II 2,是-个温和依赖 Fw , 切和 P 的常数. 

简4之， B 是某个近似于4的矩阵之精确的正交变换. 

5.1.13 快速 Givens 变换 

由亍 Givens 旋转能够有选择地引进零元，这使得它在些有 
特殊结构的问题上成为一个重要的消零丄具.这导致了 “快速 
Givers ” 方法的发展■快速 Givens 思想就是当 Q 是一系列 Givens 
旋转的乘积时巧妙地肩达它.具体地说，0用一个矩阵对 
来表示，其中 M T Af = 1)=出堆«)，且每个4都大于0.矩阵泛， 
JVT 和 D 通过公式 

Q - MO i/2 = MdlagCl//^) 

联系起来.请注意 （ JVfl ) - i /2 ) T ( M /> o ); Z > 1/2 OD 因此 

矩阵 MD - 1/2 是正交的.而且如果 F 是个 „ x n 矩阵且 F t DF = 
为对角阵，则 = D ㈣ ，其中因此可以 
对快速 Givens 的表示形式 ( M ， i )) 做变换来得到 （ M 卿 , ) ，为 
使这个思想具有实际应用的意义，我们必须给出如何在保证 D 为 
对角阵的限制条件下使 F 具有消零的能力. 

在2乘2的层次上能很好地给出详细解释 .令丄= [ 〜 ., x 2 ]' 
且给定 B = diBg ( d lt d 2 ) f 假定 A 和 大下零. 定义 

M i = [卞 1]， (5,1.12) 

L 1 a \ J 

且观察到 

M〜=n 

Lx 】— 0 ^ 2 」 


和 
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MjDMi 


di + + d 2 a l 

L^l/^i + ^2 a i + a\d 2 
如果 = - ■ Ti / Q ， 且 /?i -- 〜心々^，则 

fx 2 (l + / i )] 

L o 」’ 


i>i 


M 


mTdMj 


■^ 2(1 + 7 i ) 
0 


^ i(H ^ i ) 


其中 7 i - ^ a L ^i = ( J 2 /^ i )(^ i /^2) 2 * 

类似地，如我们假定: n^O, 且定义 M 2 如下： 


M 2 


^2 


其中 A 


Q / ri ,且馬 


L 馬1」’ 

— ( c/i Ai !) ，则 
r^id + 72)1 


(5-1.13) 


和 


mJdm 2 


dx (\^- y 2 ) 

0 


0 

d 2 {\ + 72 ) 


却2, 


其中 = - a 2 p 2 = l ) 2 ■ 

容易证明无论 i = \ 或 2, 矩阵是正交阵，且 


它能使的第二个分童为 0. ( J 也许实际上是一个反 
射变换，因此采用流行的名称“快速 Givens 变换”也许并不全对 .） 
注意到广 满足乃 因此，我们选萚上述的 AT 使“增长 
因子 ”（1 + 1) 以2为界- 
形为 



并满足-的矩阵是2 x 2的快速 Givens 变换.注意，用 
快速 Givens 变換左乘，所需乘法次数仅为“普通”的 Givens 变换的 
一半.而且，消零元过程并不需计算平方根. 
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在 rt 的情形下，一：都随普通的 Givens 旋转一样“放大’ 

項的变换形式为 

, … 0 … 0 … | 


F{i t k，a ' 爹、 


0」 


(5 A . 14) 


而“2”型变换的结构为 




0 … 0 " 


-0 


0 


0 


0 


i k (5.1.15) 

综合这些可得下列算法. 

算法 5.1.4 给定 .re A 2 和大于零的 je H 2 , 本算法计算一 
个 2X2 快速 Givens 变换阵 M 满足 M T T 的第二个分量为零且 
M T DM = D l 是对角阵，其中 0 . 如果 typc=l ， 则 

M 的形式为 （ 5. 〗■ 12) ，如果 type = 2, 则 JU 的形式为 （ 5. 1 . 13). 
D t 对角元素覆盖 d 

function : [o ,j3,type] = fast.givens (jt ,J) 
if ^(2)^0 


a = ~ .z(l)/j ： (2); - a d{2)/d{ 1) ; y 

if y<\ 

type = 1 
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r = d ⑴； cif ( l ) = (1 + y ) d { 2 )\ cK 2) = (1 + y)r 

else 

type = 2 

a = 1/a; j3=l/j3; y-l/y 

d(\)-(\ + y)d(\), ^y)d(2) 

end 

else 

type - 2 
a = 0 ; /?-0 

end 

快速 Givens 变换的应用类似于普通的 Givens 变换.即使选择了适 
当的变换类型，增长因 T \ + r 仍可能达到 2. 因此，经过5次更新 
后 D 和 M 的元素可能已增加了 这意味着在进行快速 Givens 
变换过程中必须对对角阵 D 进行监控以防溢出.参阅 Antk 和 
Park ( 1994) 看如何有效做到选一点. 

尽管如此，因为总是正交的，故 M 和1>的元素增长 
总是受控的.快速 Givens 方法的舍人性质是我们能对 Givens 矩阵 

技术的期望.例如，如果我们计算& = /7(](^_^),其中俞和&是 

m 和!>的计算解，则 q 是达到工作精度 II g t e - /!! ㈣ 的正 
交阵. 


习 题 

5.1.1 对 , z = [1 ， 7,2,3, - 1] 1 执行 house- 

5.1.2 令 z 和是上的非零向量，给出一个算法求 leaseholder 矩阵 
f ， 使得」 Px 是 y 的数乘 . 

5,1.3 假设 : reC fl ， A= Uje 13 , 其中 6^1^ .假定 i 乒 0, 定义 "= y + 
e' 3 || J*2 II ei ，证明 P= J - 2uu H /u H u 是酉矩阵且有 Px - ~ e' fl || jc j| 

S. 1.4 运用 Householder 矩阵证明 det(7 + ) — 1 + x T y ，其中 ：r 和 ;y 

是 n 维向量 . 
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5 J -5 假定人试给出 - 个算 法产化 个形为 

Q t _ '、 ] ， c G , c 2 ^ ■ -v 1 2 = 1 

的酉矩阵，使的第个分堉为 U 

5.1*6 假设是[.的单位向黾，试给出一个算法，要求该算法使 
用 Givetis 变换来计算得_个止交阵 G 使得 G 「1 ' V - 
5.1,7 确定 r = cos (£0 和 s = sin ( f ?) 使满足 

[ 二： ] UH?]. 

5-1.8 假定 0 = ^ 十 VTY 1 是 IT 交阵 ti 和 re 4 〜是 上三角 
阵 . 证明如果 0 + =QP, 其中 _P= J-2 即 T /Vu 是 flou 货 holder 阵则 Q + 可 
被表示为 Q 十 = J+y l I\vT, 其中 V. + 

上三角阵. 

5.1.9 假设第）个 Householder 向量的基本部分 v <J ^(j + 1: rt ) 存储于 
乂0+1:^)中，给出一个算法5.〖.2的具体实现.由于 A 中已经有效地表 
示了 V ,所以你只需对 VV 矩阵做好安排. 

5.1.10 证明：如果 S 是反对称矩阵 （$ T = -5)，则 Q ^( T ^ S )( I - 
S ) _ 1 是正交阵， （ !2被称为是 S 的 Cayley 变换）.构造 个秩为 2的矩阵 S 使 
得除第一个元素外均 为零/ 是向量 - 

5.1. 11假设^ “满足 II P^P l , |1 2 二 e < l , 证明 P 的所有奇异 
值均在区间 [1 -ll + e ] 中，且 II P - l/VMl 2 < e ，其中 P = VEV T M P 的苛 
异值分解. 

5.1,12 假定在什么条件下 A 的最近旋转比最近反射更近？ 


本节注释与参考文献 

HoiisehddcT 矩阵因 A, S. HousehoJder 此得名，他使得 Huaseholder 矩阵在数值分析 
中得到广泛应用 . 然而，此类矩阵的某些性质早 就被人 们所知 参见： 

H, W, TumbuH and A. C. Aitken( 1% 1 ). A?i Introduction So the Theory of Cammunl Ma¬ 
trices ,Dover Publications,New York,pp, 102 一 105. 

有关 Householder 变換的其他文献 包括： 

A. R. Gourlay{ ] 970 ). **(ienerHJizarion of Klemmtary Hermitiari Mfitnces, ^ Cb/jip. J. 13, 

411—4J2 — 

R N. Parlett( 1971 ) ■ ^Analysis of AIhoHiJuiib for Reflections in Bisectors , T， SIAM Review 
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i3,197—208. 

N. K. Tsao( 1975) ■ “A Note on Implementing the Huu^ehokler Transformations, ^SIAMJ. 
Num 」 Artal ^ 12 y 53 — 58. 

B. Dflnloy( 1976). ^On the Choict of Signs (or Hoo^holdcr Matrices，.’/- Com 卜 Appl. 
MafA 」 2,67—69. 

J J 」 M 」 C:uppcn(l984) 广 On Updating Tnangulfir Pmducta of irlousehalder Matrices, M Nu- 
Muth . 45 T 403 一 410. 

L. Kaufman(1987). “The Generalized Householder Transformation and Sparse Matrices，” 
Lin . Alg. and Its Applic 90 ,221 — 2J4. 

更详尽的 Hou^hokler 变换的误差分析见 Laws^ri 和 HmsotK 83— 的）■分块 

Householder 阵表示和相关计算的主要参考包括： 

C. H, Bischof and C. V ⑽ Lofln(l987). “The WY Representfilion for Products of 1-Iouseholdl- 
er Matrices，” SIAM j , So . and Stat ■ Comp . 8 ^ s2 — sl2 」 

R. Schreiber and B. N. Ffiriett{ 19^7}. u Block Reflectors;Theory and Computation^ "S/AM 

J . Numer. AtuiL 25 1 189 — 205. 

B, N r Parlett and R^ Scbreiber{ 1988}. u Block Reflectors;Theory and Computation, "SIAM 
J ■ Nu?n . Anal T 25 f 189 — 205. 

R. S, Schreiber and C. Van Loan{ 1989) - “A Stor^igc-Efficient WY Representation for Prod¬ 
ucts of Householder Trftn&formfltions. P ， iJ/AM j, Sci r and Sta^, Comp. 10 ,52—57. 

C, Pqgliai {1992). u Modification of the Householder Method Based on the Compact WY 

Representation, ' S£4M/. Stat. Comp r 13 ,723 — 726 

X, Sun and C. H 」 Bischof(l995). Basis-Kernel Repneaentatioti of OrthogoriaJ Matrices, ” 
SIAM], Matrijc Ad Appl. 16 A\ 84—11% 

因 W. Givens 而得名的 Givens 旋转又被称为 Jacobi 旋转 .Jacobi 在 1846 年以这些 

变换为每础设计了对称特征值箅法，参阅 3 8.4 ， G lven 旋转的存槠方法的详细讨论参 

阅： 

G. W, Stewart(1976), “The Economical Storage of Plane Rotaliona t ** Nurnrr, MafA ■ 25 T 
137—138, 

快速 Givens 变换又被称做 “ 免求平方根 ” 运算 ，（ M 想 Gmrn 变换的形成都甫经过求 

T 方根运算），有好几种方法来安排快速运算， 

M. (.Icntlcman ( 1973 ) , “Least Squares Computations by f.nvens rran^formatioiis without 
Square Roots/J . Inst, Math . Appl. 12 ， 329 — 336. 

C R Van Loan (1973). ^(.l^neraJiztxl Singular Values With Algorithms and Applications T 
Ph. D. thesis,University of Michigan, Ann Arbor. 

S, H&mrnar1ing(t974). *'A Note cn Modifications to the Givens Plane Rotation /' J. Inst . 
MaM. 13,215—218- 
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H- Wilkinwjrit 1977) - ^Somtf Rectfiil Advances in NumencaJ Linear Algebra t "in The State 
o/ th^ Art in Numer^cd Anaiysh >ed. D. A. H. Jacobs, Academic Prt^，New York^ pp. 
J — S 3. 

A.A. Andii and H. Park{ 1994), ''Fast Pinnr Rotations with Oynamir ScalingSM/W J . 
Malri.j A?ial. Appi. i J , 162 — 174. 

§5.2 QR 分解 

我们现在叙述如何应用 Householder 和 Givens 变换来计算各 
种分解，肖 先是 QR 分解.一个 mx w 矩阵 A 的 QR 分解为 
A = QR t 

其中是正交阵， K € 是上二角阵.本节中我们假 

定我们将会看到如果4是列满秩的，则0的前 r 列形成 
ran ( A ) 的一组正交基.因此，计算 QR 分解也是求解一组向量之 
正交基的一种方法.此计算可按几种方法进行，我们给出的方法包 
括基于 Householder ,分块 Householder，Givens 和快速 Givens 变换 
的.同时还讨抱了 Gram - Schmidt 正交化方法和一种在数值上更稳 
定的称作修正 GraiTi - Schmidt 方法. 

5.2.1 Householder QR 分解 

我们首先讨论利用 Householder 变换的 QR 分解方法.算法的 
要旨可通过一个小例子来展示.考虑 m = 6, 《=5,假定 House ， 
holder 矩阵和 H 2 已算出，它们使得 


r X 

X 

X 

X 

X 

0 

X 

X 

X 

X 

0 

0 


X 

X 

0 

0 


X 

X 

0 

0 


X 

X 

_0 

0 


X 

X 


我们将注意力集中在这些被标记的元素上.我们要给出一个 
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Householder 矩阵 H 3 6 j ? 4 x 4 使得 


ngr 


"X~ 



0 



0 



- 0 - 


如果月 3 = 4呢(1 2 ,5 3 )，则 



X 

X 

X 

X 

X" 


0 

X 

X 

X 

X 

h 5 h 2 h } a = 

0 

0 

X 

X 

X 

0 

0 

J 

X 

X 


0 

0 

0 

X 

X 


_0 

0 

0 

X 

x _ 

步就得到上三角阵 

- 1 " 

HiA 



H„ 我们得到 A = QJR. 


算法 5.2.1(H 0 iischdtk r QR) 给定，本 
算法计算 Householder 矩年 H i … ff„ 满足：如果 Q = ff 1 … f/ H ，则 
Q r A = R 是上三角阵， A 的上三角部分被 1? 的上三角部分覆盖 r 
第） 个 Householder 向量的 j + l ： m 分量存储于 A (j + 1: m j ) , 
j 〈 m ■ 


for j = \ ：n 

- hoase(A(j-,m,j}) 

A{jim ， jin) = ^IW J )A (j:m ,j：n ) 

if j<m 

A(j + l- t ?n = v(2: m ~ j + i) 

end 

end 

本算法需要 2n 2 (m - ?j / 3 ) 个 flop. 

为说明 4 是如何被覆盖的，设 

= [0,0,‘*‘ 0, 1 办、，…， u 9 )] T 

、~ —— --y - - 
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是第）个 Householder 向 S ，则算法执行完毕时 


厂 11 

广 12 

^13 

^14 

厂15 



广23 

^24 

厂 25 

M 1 ) 


厂 33 

厂34 

r 35 




r 44 

广 45 

彳） 

vl 2) 

vP) 

矽） 

厂 55 

4 1 ) 

4 2) 

4 3) 

4 4) 

4 5) 


如果需求出矩阵0二则可由 （5, 1.5) 而累积得到.累积 
需 4( m 2 n ~ mn 2 + ?? 3 /3)个 flop. 

所计算的上三角矩阵 K 在满足 Z T (A + £) = K 的惹义下是 
一个附近的 A 之精确的 li ，其中 Z 是某一精确的正交阵且 || E || 2 

II A || 2- 


5,2.2 分块 Householder QR 分解 

算法 5.2.1 含有大量的矩阵-向量乘法和外积修正等2级运 
算-通过重新组织计算和应用 5.1.7 节中讨论的分块 Householder 
表示形式可以得到一个3级运算方法.其思想是应用一组如 5.1.7 
节中的 WY 形式表示的 Householder 变换. 

一个小例子可以说明主要思想，假定„ = 12且分块参数 r 的 
值为 r = 3 .第一步是如算法 5.2.1 那样生成和 if 3 .然而不 
像算法 5.2.1 那样将珥作用于整个 A ，我们只将 f /卜/^和 if 3 
作用于 4(:,1:3). 做完这些之后我们生成分块表示式 
= I + W { Y ?'， 然后进行3级修正 

A {:,4：12)- (/+ iyy T ) A (: ,4:12) - 
下1步，按算法5.2.1生成好 4 ，11 5 和 ff 6 .然而在得到分炔表示形 
式 H 4 H 5 H 6 = J + 片 2 打之后才将这些变换作用于 A (:， 7:12). 
这就是整体构想. 

A = 1;是=0 
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while X^n 

r - min( A + r_l ，《); 是二 々十 1 
用算法 5.2.1 上三角化 A(A : 州 ， Am) 

得到 Householder 矩阵代， … ， (5.2.1) 
用算法 5.1. 2 得到块形式 
I + W k Y k T =H x ,-", H t 

A ( X ： m f r +\ in ) = (I + W k Y k J ) J A ( X ： m,r + \: n ) 

A = r + 1 

end 

用于定义矩阵，…，的 Householder 向量 的零非 零结构表明 
着故 ii ： 和的前 A - 1行都是零.该事实在实际应用中可利用. 
考虑 (5.2.1) 的合适的方式是进行 划分： 

A = [ A t . ■ * - , Av ] t N = ccil ( w/r ) T 

其中列块在第 6 步被处理.在 （5.2.1) 的第是步，一个分块 
Hoiiseliokier 形成且将4的次对角线部分化为 0. 余下的列块也 
被更新. 

(5.2.1) 的舍人特性基本 J ： 与算法 5.2.1 相同.由于 W 矩阵 
的计算，所需的 flop 数稍冇增长.然而作为分块的结果，除一小部 
分外所有的 flop 都发生在矩阵乘法.确切地说， （5.2.1) 的3级运 
算比例约为1 - 2/ N . 详细内容请参阅 Bkhof 和 Van Loan 
(1987). 


5,2,3 Givens QR 方法 


Givens 旋转也可用 来计算 QR 分解.用一个 4 x 3 阵的例子足 
以表明其一般思想： 
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X 


X 乂 ' 


0 XX ! (3,4) 0 X X (2,3) 0 X x ; (3,4) 

r - ► - *■ ! - ► 1? 

0 x x O/X jo 0 X ' 

-0 X x 」 Lo 0 X 」 Lo 0 X 

这里我们注明的 2 向量， 它定义了所对应的 Givens 旋转 . m 显然， 
如果 A 代表在约化过程屮的第 j 次 Givens 旋转，则 Q「A = li 是 
上三角阵，其中0二 Gr + .G,. 且 f 是旋转的总次数.对于一般的 
m 和《我们有下列算法. 

算法 5.2-2( Giv e nsQR ) 给定 A 6 K fwX 〃， 且 本算法 

以 Q T A = K 覆盖4,其中 / i 是上三角阵， Q 是正交阵 了 
for j = \- n 

for i - m ' - \ 'j + \ 

[c，s]= givens( A(/-l ， j )) 

A(i - 1 ： z ： w ) = [ 5 ] A (/ - 1 * / ： « ) 

L — s c ' 」 

end 

end 

本算法需要 3 n 2 (m - n /3) 个 flop. 注意我们可利用 （5. L9) 将 
(cy) 通过单个^0来表示，且将其存储于已化为零的 AG+d) 中. 
利用^.^(^町以进行如^—殳 1 ^的运算，但要仔细重组这些旋 
转的顺序. 

对上三角阵也采用其他顺序的旋转变换.例如，如果我们用下 
面的语句取代算法 5.2. 2中的 for 语句 
for ^ = m - - 1 ； 2 

for j 1 = 1: min j ^ - 1 ^ [ 

则 A 中的零元是逐行引进的. 

Givens QR 方法的另一个因素是将％消零的旋转平面.例 
如，为使％变力0,如不像算法 5. 2. 2中那样对第 1+-1 行和第/ 
行做旋转，我们也可对第）行和第 i 行进 行： 
for j = 1 ： n 
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for i — m - 一 l:j + l 
[c,s] = gi\ens(A(j 

A([j i}j-n)=\ S I A([j i]j:n) 
L - s i. ' 

end 

end 


5.2.4 通过 Givens 变换的 Hessenberg QR 分解 


作为 Givens 旋转应用于有结构的问题的例子，我们说明如何 
将其用于-计算上 Housenberg 阵之 QR 分解.一个小例子可以表明 
其一般 思想： 、 

假定 w =6,且经过两步变换后，我们计算得 

'X X 


G(2,3,5 2 ) t G( 1,2,5 1 ) t A 


G(3,4^3) T G(2,3^ 2 ) T Ga T 2 f ^) T A 
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0,于是得到 
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综上我们 得到： 

算法5 . 2 • 3 ( Housenberg QR ) 如力 G P x n 是上 Hessenberg 
阵，则本算法用 Q t A^R 康盖 A , 其中 g 是正交降， K 是上三角 
阵，是一组 Givens 旋转的乘积，其中 G ； 形式为 G , 
= G(j，j + U %)、 
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for j- 1^7i i 

[ ? ^ = givens(A(j ,j) ,A(j + \ ,j)) 

A(j - j + [ ： n)-^ ^ A(j'j + \,j ： n) 

end 

+算法需要3行 2 个 flop . 

5.2.5 快速 Givens QR 分解 

我们可以利用 5.1.13 节描述的怏速 Givers 变换 来汁算 0 的 
表示形式•具体地说，如 M 是非奇异的， D 是对角阵 R 满 
足 M r A = T 是上三角阵 ， M T Af 二 D 是对角阵，则0 : MJ ) _ 1/2 是 
正交阵，且 Q r A = D ]/ z T = R 逛上7角阵 - 类似 r Givens QK 方 
法我们有： 

算法 5.2.4 ( 快速 Givens QR) 给定 A € 〃 且 m ， 本 

算法计算非奇异的 Af 和正的使得 M T A = r 为 

上三角降，且 M T M = di a g(t/ 〗， ■‘‘ ，必） .A 被 T 覆盖 . 注意 A = 
(MD_ l/2 )(D i/2 T ) 是 A 的 QR 分解 . 
for / = J ： m 
^(0-1 


end 

for j = 1 ： 77 - I 

for i = m ： - 1 ij + 1 

[« »/9,type] = fast.givens(A(i ~ l ： i t j) 7 d(i - hi)) 
if type = 1 

A(i ~ hi ： n) = I A(i - l：i T j ： n) 

L 1 a 」 

else 

A 0 _ 1 w.，) : /j) = ] A(i ~lii J i,n) 

end 
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end 

本算法需要 -«/3) 个 fb P .正如上-节所提到的，有必要 
防 [ h 上述的快速 Givois 算法出现 h 溢.这意味着如果 Af , D 和 A 
变得很大时要定期对它们加权缩小. 

如果要对一个窄带状的矩阵做 QR 分解，则快速 Givens 方法 
就很有吸引力，因为它不涉平方根运算.（在窄带状阵问题上 
LDL T 比 Cholesky 分解更令人喜欢也是出 _ f 相同的原因，参见 
4.3.6 疚）.具体地说，如果 A 6 的上带宽为7,下带宽为 P ， 

则 Q T A = U 的 h _ 带宽为 p + q ， 在这种情况下 T Givens QR 需大约 
()(« 〆 />+ g )) 个 flop 和 O ( 乃/0次平方根 运算. 因此，如 p ， q 《 
^平方根运算在整个汁算中占相当比重. 

5.2.6 QR 分解的性质 

上面的算法“证明”了 QR 分解的存在.现在我们讨论 Q 的列 
向量与 ran ( A ) 和 ran ( A)l 的关系以及考察 QR 分解的惟一性问 
题 , 


定理 5.2.1 如果是一个列满秩阵 A € R mX "的 QK 
分解，且 A = [«!，■" ra n ],Q = Ui ，…，心]是一个按列的划分，则 
spanUt ，…，= span! m*"' , k = \ ;n . 

确切地说，如果 Q ] = Q ( l : m ， l :”） 和匕 = Q C 1 ; 1 n + 1 ： m ) , 

则 

mn(A) = ran ( 仏） 
ran(A ) 1 = ran(Q 2 ) 

^ A = Q X R U 其中 

证明比较 4 = 01? 的第 6 列，我们有 

k 

a k = ^ span! y 1 1 "',^ I - (5.2.2) 

i-l 

因此， spanU 】 ％ iQspanb 〗 ，…，似 i .然而，由于 ranHA ) 
= n ，推知 span 彳 q ，…， w (维数力々，故必等于 spani ^ | f 

定理的其余部分显然成立. 口 
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矩阵 + 可用 Q 的 

因子形式很容易地求出. 

如果 A = 0 K 是 A 的 QR 分解，其中 AG : ” iX '且，则 
我们称 A = Q (: , 1 :”） 尺 （ l : n , l :? 7 ) 为瘦型 QR 分解，下面的结 
论给出了瘦型分解的惟一性. 

定理 5.2.2 假定是列满秩的，则痩型 QR 分解 
A - Q { R, 

是惟一的，其中仏^:^“的列向量相互正交，^是对角元素大 
于0的上三角阵.而且化二^ 7 ，其中 G 是 A t A 的下三角 
Cholesky 因子. 

证明由 A t A - ( e t ii ,) T ( ailii ) - RfRi 吋以看出 G = 
^是 A T A 的 Cholesky 因子.从定理 4. 2. 5可知此因 f 是惟一 
的.由于 QfAlii 1 , 故仏 也是惟一的. □ 

A 中的扰动是如何影响和 Ri 的呢？为回答这个问题，我 
们需要将条件数推广到矩形矩阵.冋想在 2.7.3 节中，一个非奇异 
方阵的2范数的条件数是最大和最小竒异值的比,对于列满秩的 
矩阵，我们继续用这样的 定义： 

A 6 W , rank ( A ) = "、( A ) = . 

如果 A 的列是接近相关,则 uU ) 会很大 . St ewart ( 1993) 证明了 
A 中 OG ) 的相对误差会导致 li 和 Qi 中 OUa (4)) 的相对误 

差- 

5.2.7 经典 Gram-Schmidt 算法 

现在我们讨论直接计算 QK 分解 A = (2^1 的两种不同方 
法.如杲 ] ： 3 111 1 (立）= 77，则方程（5.2.2)可解出％ : 

qk = (^ - XI 。此 、 "kk + 

这样我们可以认为 w 是在 
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^ - S r ik<h 

z - 1 

方向上的 2 范数单位向量，为保证 q 6 spanl <71，…， 沿 -1 我们 
选取 

r]k = qhk , t =\； k -\ . 

由此导出解 A = 的经典 Gram-Schmidt(CGS) 算法： 

i?(l,l)- II A (: t l) ll 2 
Q (: ，” = A (: ， l)/i?(l ， l) 
for k= 2 ： n 

R(l：k - \,k) = Q(l：?nAik _ l) T A(l:m—b) 

^ = A ( l : m ^)- Q ( l ：^ t l ：^ - l ) fi ( l :^ - 1^) 

(5.2.3) 

R(k,k)= II ^ S! 2 

Q( 1 ： w ,k)= z/R(k t k) 

end 

在 CGS 的第々 步，生成殳和 I ? 的第 6 列. 

5.2.8 修正 Gram-Schmidt 算法 

可惜, CGS 的数值特性非常坏，因为所计算的&之间的正交 
性常常会严重损失.冇意思的是，改变计算的次序，便得到称之作 
修 JE Gram^SchimdttMGS) 方法，这是一个可靠得多的计算过程. 
在 MGS 的第 々步 ，需要求出 Q 的第々 列(用办 表示）和 A 的第左 
行（用 nf 表示）.为导出 MGS 方法，定义矩阵 A ( k ) e 

设，叫 - 左十 1 )为 

A - S <h r J = ^ [0 A ⑴ J ■ (5.2.4) 

因此，如果 ,l 

A {k) = {z B] ? 

则 iUll 2t 如 = z / w 以之后计算外 
积 + = 办 （/v i + 1 …〜）并开始下一步.至此，我们完成 
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了 MGS 第 A 步的描述 . 

算法 5 ■ 2 . 5 ( 修正 Gram - Schmidt ) 給定 x , rank 

u ) =« ，本算法计算分解 a 二匕义，其中其列相互 
正交 ， H riKn 是上三角阵 . 

for k = 1 ： ft 

R(k,k)^ \ A(\ ： m t k) || 2 
Q (\ i m ^ k ) = A ( \ ： m ， k) /R(k，k ) 

tor j - k ^\-.n 

R(k ,j) - Q{\: m ) T A (i：m t j) 

A(\-,?n ^j) = A {\： m ,}) - Q (\： ,k)R{k ,j) 

end 

end 

本算法需 2mn 2 个 fbp. 把 L 和 Ri 都储存 r_ A 是不可能的 . 
MGS 计算的典型安排是使 A 被 h 覆盖，矩阵&存在另外的数 
组中 . 


5.2.9 工作置和精度 

如果对求解 ran (4) 的正交基感兴趣，那么用 Householder }} 
法产生因子形式的0需 2 t ^ 2 _2« 3 /3 个 flop ， 计算0的前《列 
还需要 2 mn 2 - 2 ti 3 /3 个 flop . (这只需注意 （5. 1.5) 中0的前?? 
列），因此，对于找 mi ( A ) 的正 交基, MGS 的效率要比 Householder 

正交化高一倍.但是， Bjorck ( 1967 ) 证明了 MGS 法计算的^ i = 
l:3i ，‘‘、$«]满足 

Qj Ql~ I + II E MCiS II 2&///C2 ( A ) ， 

而 Householder 方法计算的结果是 

Qj Qi - I ^ E h ， II E h ^ 

因此，如果正交性至关重要，则仅当被正交化的向 M 独立性强的时 
候，才可用 MGS 法求止交基. 
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同时我们指出由 MGS 法解出的二角因子1?满足 

WA QR |[ II A || ，且存在一个具有完全正交列向量的 Q 

使得 || A _ || k " !l A || - 参阅 Highan (19%, 379 页） ■ 

例 5.2.1 如果将修正 Gram -Schmidt 方法应用于 
r_ 1 1 _ 

A - 10 ^ 0 ， k 2 { A ) ^ 1.4*10 J , 

_ 0 10 " 3 _ 

采用6位有效数计算，则 

「1 ■ 00000 0 ] 

[ q^q 2 \= i O . OU 1 -0.707107 j . 

L o 0,707107 」 

5.2.10 关于复矩阵 QR 分 解的一 点说明 

本书中我们给出的大部分算法都有其适用尸复矩阵的形式， 
它们可从相应的基 f 实数的算法良接地得到.（但这并不等于说在 
实现上-切都非常容 M 和显而易见）.为农明这一点，我们简略给 
出复矩阵的 QR 分解算法. 

皆 先讨论 Householder 变换的情形，假定0 ^ G C ； T , 且 j : i = 
re i0 ， 其中 r;H 如果 v = [r 土 e i0 ll .r || ，P 二 ㈣ H ，卩 = 
2/ v H v ， 则 II (参见习题 5.1,3). 为汁算稳定，符 
号的选取应使 II ^ 11 2最人. 

对进行上三角化，按算法 5. 2.〗进行.在 
第）步，将 A(j , j ) 的次对角线部分消为0: 

for j ~\m 

v = ± e l6 || x || 2 e i 这里工 i = 厂 〆 

P ~2/ v h v 


end 
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邶约化 需心 2 (所1/ 3 ) 个变: flop . 约为执行算法 5.2.1 的四倍. 
如 Q = />广 . P „ 是 Householder 变换阵的乘积，则 Q 是西矩阵且 
Q t A = R^：^ x ^U 上二 角阵. 


习 题 

5.2.1 改写 HouathoJder QK 算法，使得它能有效地处理 A € 」 L" iX "是下 
带宽为上带宽为 7 的情形. 

5.2.2 改写 Houaoholder QK 箅法，使其计算分解 A = QL ， 其中 L 是下 
二角昨， Q 是正交阵■假定 A 是方阵.送涉及 到重写 Household tr 向量方程 u 
■= house ( j :) 使得 （ / - 2 加 W'vh. 除最后- 个 元素外均为 0. 

S -2 3 改写 QR 分解算法使满足在对角线上引人 零元， 即按照顺序将 
( m f l)(m ~ \ ,2)(m -2,1 )( w - \,2){?n ,3) 等元素变为 （X 

5.2.4 改写快速 GKxtusQR 分解算法使得它能有效处理4是* x „的 
三对角阵的情形，假定 A 的下次对角线、对角线、上次对角线分别有贮 ； p 
八1:» - - j ) 中， 设计你的算法，使这些向童被了的非零 

部分覆盖. 

5 . 2 .5假设是下三角阵，证明 Householder 矩阵 
可以确定一个 厂二角阵厂^贤心^满足 


FL t 1 

提 示：如 6 X 3 阶阵的第二歩涉及到确定使得 


H 2 - 


X o 0 


x 0 0 

x x 0 

xxx 


x x 0 

x X o 

= 

xxx 

X o 0 

X x o 


X 0 0 , 

-xx 0. 

U o o J 


即只有第一行和第三行保持原样， 
5.2.6 证明，如果 



k n — k 
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[1 A 是到满秩的，则 ininil Ax - b \\ Z 2 ^ \\ d SI \-{- o [ d /\\ -v [\ 2 ) 2 . 

5.2.7 假定』 £ 和 D 二 d iag (山 '给 出一个方法来 
构造一个正交阵 S 使得 g t a DQ 1 = R 是上' 角阵，不必者虑效率问 
题——这只是 QR 乘法的一个小练习. 

5.2.8 给出一 个力法 什算乘积4 的 QR 分解，但不显式地将 

士 ，…為 相乘.提 示:在 =3的情形， Q 3 r A ，组、仏出七仏(^七，然后确定 
Q , 使得 Q?(A, 兑_〗)是上三角阵 = I乂 

S.2.9 假定〜 .E 是将单位阵 L 的行逆序排阵得到的置换阵 
( 即 §4.7 中提到的交換阵）， U) 证明如 fit f 〜是上三角阵，则 L = ERE 
是下三角阵 . （ b ) 指出如何计算正交阵和 卜二 角阵使得 
A = C?L ， 假定已有 QR 分解的算法 . 

5,2.10 的 MGS 与 

3 = H 

La 」 

上的 Householder QR 的第一步在数值上是等价的，其中 0„ 是 n X n 的零矩 
阵. 证明上两种方法的第-步执行完后 t： 述命题成立. 

5.2.11 逆转算法 5.2.5(MGSQK) 中循环的次序使得《是按列计算 
的. 

5.2.12 写一个复矩阵的（^^^0只分解方法，参考题5.1.5，其中复矩 
阵 Givens 旋转是主题，能否组织计算过程便得 R 的对角元非负？ 
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Apfilic. 215 t 95—U2 

最中.要的结论是和 I? 的变 it 之畀为 a 的条件数与 a 的变化虽的乘积 .m 织汁 

箅过枰可使得 G 的元桌连续地依赖 A 的允索，此问题的讨论见： 

“ .F.(jo!emau and D. Sorenstn( 1984) ,“A Noiy on ibe Cumpuiinioti of an C)rtht)normal 
Basis for the Null Spact; of a Matnx ,"Mathejtiaticai Pm^raTfiming 29,234 — 242. 

有关 （ rram-fSchnudt 过程的参考 包栝： 

J.R. Rice( 1%6). "Expennif'nis on tiram-Schmidl Orthfigcjn^li/^titw, " Math . Comp. 20 , 
325—328. 

A. Tijorck C 19(37), Solving Lincifir 1 Sf|uarrs Problems hy Gram-Schmidt Orthogo-nal- 
—,"MT7,1—21. 

N. N. Abdclinfllek( 1971), 11 Roundoff Krror Analysis for ( ； rfnn-S^hniudi M?Ukx 1 end Solution 
of Linear Least Squares Pncjbltms, "Hf7' 11 ,345—368. 

J Haniel, W. B. Oragg, L- Kaufman, Htid G, W. Sifw^rt ( J 976), H Pcorthpgonali^h<jn and 
Stable Algorthms for Updating thr Crtam-Schmi^t QR Factorization,'"iWarA . (bm/j.30, 
772—795. 

A. Rtihe(l983) - ^Numerical Aspeclt, of Gram Schmidt Orrtiogonali/Jitian of Vectors, "Lin- 
Ain and Ita Apfdic - 52 /53 ,591 — 601. 

W. Jalby and li. Philippe (J99t), ''Stability Analysis and Improvmiem of the Block Gram- 
Schmiclt Aleorithrn/ SIAM].Sci % Stut. Gimp. 12 A 58—1073. 
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A lijorck and C, C, Paige(1992). '"Loss and Rotfipvure of Orthogonality in the Modified 
Grara-Schmidt Algorithm, "SMjVI J . Matrix Anal. Appl r 13 9 17G 一 190, 

A Bjorck( 1994) - “Numerics of Cirani-Schmidt OrthugpnEilizaiLCjn +P Lin , Alg, und Ap^ 
plk, 197/198,297—316, 

结构化的矩阵之 Qft 分解本身也是结构化的，螯阅： 

A/W. Bojaric/ykjR. P. t find F. R, de Hoog(19S6). “(JR Fartorization of Tocpliu Ma- 

burner r Math r 49 ， 81 一 .~94 『 

S. Qiao( 1986). ^ Hybrid Algoririim for F ast Tcx^plitz Orthoganalmtion ， ’\ZVMmfer. Math ■ 
5J,351—366. 

C-J. I3emtur^( 19fl9). “Fast Factorization of Vandcmiondr Matrices , T Li?i. Alg' and 

Apptic. J22/J23 /124 ,165—194. 

L. RcicKc! (1991). “K^r QR Dtooniposiiion ui Vandeimoiidc-L.ikc Matrices anc[ l J olynnmaila 
Least St|Ufirt^ Appm^imfliion, P \SJAM J . Matrix Am! - Appi . 12,5S2 — 564, 

[J, R. Sweet (1991) ■ “Fast hSlock Toeplitz Orthogcr ifilizatiuf i * n Numer r Math - 58,6\3 — 
629 」 

与 QR 分解相关的许多卨性能计算问题之讨论可 It: 

B. Maitingly, Meyer, aaid J. Onega(1989) r w Orthogonal Reduction on Vector Comput- 
Sci’ami Sun Comp -1 ,372—381. 

P. A. Knight(1995), “Fast Rectangular Matrix Multiplication and the QR Demrnpoaitior、 + ” 
lAn.AIgafid Applic.22l ,69—8L 

§5.3 满秩的 LS 问题 

考虑如下 问题： 找到向量 1 使得 Ai = 其中数据阵 A 
和观察向量 6 给定， 如果方程个数多于未知 

量个数，我们称方程组 At = 6是超定的.超定方程组通常没有精 
确解， 因为它要求&必须是的真子空间 ran(A) 的一个元素. 

这一事实启发了我们，可以考虑对其适当选取的 P ，极小化 
f[ Ax-b\\ ~不同的范数给出不同的最优解，例如 Z = U，1，1]， 
b — [ & i ， 62 ， & 3 ] T ,并且，则可以验证： 

P = b:， 

p ^2^>x opt = (^1 + b 2 + 办 3)/3， 

P = c ^^j： 0 p t ^{bi+ b 3 )/2. 


- m ， 



在 1 范数和》范数情况下，极小化1:作变复杂厂因;^对于这 
些户值，函数 fU )^ WAjr-b I 是不可微的，佴是在这方面巳 
取得长足的进步，已有-嗖好的方法可用丁 M 范数和〜范数的极 
小化，参阅 Coleman 和 Li ( 1992 ) , Li ( 1993 ) 和 Zhangt 1993), 

与一般的 f 范数最小化相比,最小二乘问题 

min || Ax - ^ |[ 2 (5.3.1) 

: re? 1 " 

更容易，因为以下两个 原芮： 

II A:r - ^ II 2 是了 的可微函数，故必取最小值 
时，梯度方程 V >( x )=0 ，这是一个很易有结构的对称线 
性方程组，当 A 是列满秩时，它是正定的. 

• 2范数在正交变换下不变，这意味着我们可以寻找一正交 
阵 G 使得等价的问题 II { Q Y A ) jc ~{ A t b ) II 2 的最小化容 
易求解. 

本节中在我们致力于寻求在 A 为列满秩时这两种求解方法.我们 
将详细给出并比较基于法方程和 QR 分解的方法， 


5,3,1满秩的实质 

假定 x G X "，^ ，和 a G ,考虑等式 

|| A (.T + ors) - ^ II 2 , 

==II Ar — 6 j| 2 + 2az T A T (Ax - 6 ) 十 a 2 || A: j| |， 

其中 4 € 11"^ "和 6 d ' 如： r 是 LS 问题 （5. 3.1) 的解，则必有 
A T (Ar _6)二0.否则，如果 z - - A t ( Ax - 6)，且使 a 足够小， 
则我们会得到一个相矛盾的不等式 1] A (^4 1| 2 < 1| Ar 

_，b h . 我们还可得出结 论：如 i 和 : r + 都是 LS 的极小解，则 
z G nuil ( A ). 

因此，如果 A 是列满秩的，则存在一个惟一的 LS 解：它 
是对称正定线性方程组 

A T ArLs = A T /^ 

哕解.这方程称为法 方程组 .由于 ▽♦(■ r ) 二 A t (/ U -6), 其中 
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H ^ r ) )) Ax-b 因此求解法方程组 等同于 求解梯度方程 

V ^ = 0 .我们称 


r La ;办 - 

为最小剩余，用 

阳 = il A . r LS - b || 2 

表示其大小.注意，如果 & S 很小，则我们可从冷时列“预测”出 
b . 


到3前为止我们一直假设 A € ™ 〃是列满秩的，该假设在 

§5. 5将去掉.然而，即使 rank ( A ) = ?? ， 当 A 接近秩亏损时， t 面 
给出的方法也会产生麻烦， 


当评估一个 LS 解的质量时，应考虑两方面问题1 

• ，以有多靠近义 ^? 

•与 ^ LS ~ ^ Aru 相 比，？ ^5 =办一 A X LS 有多小？ 

在不同的应用中这两条标准的重要性也不尽相同.但任何情况下 
都应知道 A 和6的扰动是如何影响2^和 M 的.直觉告诉我们如 
果4的列是接近相关的，那这些量会很灵敏. 

例 5.3.1 假定 



_ i o - 


0 0 


_ n 

A - 

0 10 6 

_0 0 . 


0 0 

_0 10 -8 _ 

,6 = 

0 , db = |0 

.ij Lo _ 


和 3： ls 分别使! | Aj ' - b j | 2和 II ( A + M )_r -（厶 + 助 ） II 2取得 
极小值， 6 r us 和分别是对应的最小余量，则 

= 1(J ， 义 ^ — L.9999 ■ 10 4 ]' 



0" 


_ 0 


r^s - ■ 

0 

，户 LS 二 

- 0 ‘ 9999 

• 10~ 2 

i 

丄 


_ 0.9999 - 

10° _ 
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因为 / r 2 ( A ) = lQ 6 , 我们有 

- Mp — 9999 ■ 10 4 ^« 2 C ^) 2 -， v ^ f -- 10 13 * jl 0 ' 8 , 
Ul 2 \\ A )) 2 

1! ^--^0.7070 - W~ 2 ^k 2 (A) J '||-^-I0 6 *10 

这个例子的启示是工^的灵敏度依赖于 k 2 〈 A ) 2 , 本节的最后我们 
将研究 LS 问题的扰动理论并会重新提到 K ：( A ) 2 因子- 

5,3.2 法方程组方法 

求解列满秩的 LS 问题应用最广的方法是法方程组法. 

算法 5.3 (法方程组法）给定 A6 : 严 x ”具有性质 rank ( A ) 
- n 和 6 ，本算法计算 LS 问题 min || Ar - A || 2 的解 x _ s ： 
计算 C = A t 」4 的下三角部分 
d = A T b . 

计算 Chtilesky 分解 C — GG r * 

解 G3 ? 二 c / 和 uf ； = v ■ 

本算法需要 + r f /3)〃 2 个 flop . 法方程组法基于许多标准 算法： 
Chohsky 分解，矩阵-矩阵乘法，矩阵-向量乘法等，因此很方便.将 
m 乂 m 数据矩阵 A 压缩于-个较小的 nXn 的叉乘 积矩阵 C 的做 
法很可取. 

下面我们考虑法方程组的计算解 5 US 的精度.为清晰起见，假 
定在形成和二 A t 6 时没有舍人误差（这里的内积计算 
部分通常采用累加计算 ，丙而 上述假定并非很不合理的），从我们 
所知的关于0^1€51^因子分解的舍人性质（见4.2.7节）得到 
( A t A J tE ) x ^ A T b , 

其中 II ⑴ I II A U II 2 ，因此我们期望 

ATA} = ^ 2 ( A ) 2 . (5.3.2) 

可见，法方程组计算解的精度依赖于条件数的平方.这与例 5.3.1 
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是吻合 的，在 5.3.9 节中将给出更详细的结论. 

例 5.3.2 要指出的是，形成 i「A 的过程中貧导致严重的信 


息丢失. 


A 二 10 
. 0 



则 k 2 ( A )^1. 4 MO 3 , xijs = [ 1 


r 2 1 

t b= !lO" 3 j , 

Lio I ■ 

i] T , 且化 s ----(j. 如果采用 


io 为 


底，长度 r = 6 的有限位数计算，法方程组法就会在计算过程中产 
生除零溢出，这是由于 


W[:;] 


是奇异的.另一方面，如果采用7位数运算，则= 
[ 2 . 000001，0]丁，II :? LS — J-'LS H 2〆 II ILS II 2 〜 /^2(4 ) 2 ， 


5.3.3 用 QR 分解求解 LS 问题 


设给定，假定已计算得一个正交 
阵满足 

Q t A = R = \ ^ ] n (5.3.3) 

L 0 Jm ~ n 

是1：三角阵.如果 

Q ^-[ C d ] n ■ 

则对任意: re R" 有 

\\ Ax - b \\ i = II Q T Ax ~ Q T b \\ 1 = llfip-dlp lUlli 
显然，如果 rank ( A ) = rank ( Jf i) = w ，则由上三角方程组 
^ 定义.注意到 

PLS= II d II 2. 

我们看出，一旦有了 A 的 QR 分解，则满秩的 LS 问题就很容易 
求解.细节有赖于精确的 QR 分解.如果使用 Householder 矩阵且 
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采用的因子形式，就得到如下算法. 

算法5 . 3 - 2 (Householder LS 解法)如果 A 6 x M 是列满秩 
的，且'本算法计算向量 -/Ise M 吏得 II Aris - M 2最 
小- 

利用算法 5.2. 1求 A 的 QR 分解并覆盖 A 
for j = 1 ： m 

; v{j m) = A (j + 1 ： m ^j) 
b(j ： m) = (I Tn - J + l ~ (i } uv 1 )b(j ： m) 

end 

用向后消去法求解 

用这种方法求解满秩 LS 问题需要2« 2 {//, - n /3) 个 Hop . 史新6 
所需的 OUm ) 个 flop 和向后消去所需的 OU 2 ) 个 flop 与分解 A 
的工作量相比是微不足道的. 

可以证明计算得的5^是 

min || (A + 5 A )x - ( 6 + 油） i | 2 〔5.3,4) 

的解，其中 

Jl M || F < ( 6 m - 3 ti + 41 ) npL II A || F 十 0(p 2 ), 

(5.3.5) 

II ^6 |] 2 ( 6 m - 3 n l 40) nju II & IU + 0 ( fi 2 ). 

C 5.3.6) 

这两个不等式是 Uwson m Hanson (1974 T 90 页）建立的,,并且指 
出 Sls 满足一个“接近”的 LS 问题(在建立 LS 扰动理论之前，我们 
还不能给支 LS 的相对误差，该理论很快就要讨论）.要指出的是如果 
应用 Givens QK 分解也有类似的结果成立， 

5.3.4 接近秩亏时算法失败 

如同法方程组法，如果 rank(A ) < W ，则求解 LS 问题的 
Householder 方法就会在向后消去阶段失败.数值上，只要 k 2 (A) 
二 A(li) 〜 1/p 就会出现麻烦.将其对比于法方程组法，后者一旦 
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k 2 (A) 处于 1/Vi 的邻域屮， Chulesky 分解能否完成就是个问题 
(参见例 5.3.2) ■㈥此 Lawson 和 Hansen( 1974 , 126〜127> 宣称对 
f 固定的机器精度，应用 Householdei ■正交化方法可求辦更多类喂 
的 LS 问题. 

5.3.5 MGS 方法的一点说明 

实质上， MGS 方法计算瘦咽的 QR 分解 A = LA .这对解列 
满秩的 LS 问题足够 r ，因为它将法方稈组 （ A T A = A J b 变换 
成上三角方程组但当 Q [ b 显式地形成时，分析此方 

法却引出一个 k 2 { A ) 2 的项.这是由于所计算的因子么满足 

II Qj Q ! - I n II 2〜 F2U), 这在 5.2.9 节中已提到. 

然而，如将 MGS 应用于增广矩阵 

[A 6]= [fii q n+ ] ] , 

L 0 p 」 

则 ah. 按这种方式计算 Qjb 和解 z 得到 LS 解 
与用 Householder QR 方法得到的解，样好.也就是说，形如 
(5.3.4)〜（5.3.6)的结果是适用的，参见均6^和1^咖(1992). 

需要注意的是因为 MGS 总是对 m 向暈进行运算，而 House - 
holder QR 处理更短的向量，故前者比后者开销要稍大一些， 

5.3.6 LS 问题的快速 Givens 解法 

也可以应用快速 Givens 变换来解 LS 问题.假定 M l M=D 
是对角阵且 


M t A 



是上二角阵.如果 



则对于任意 > 有 

It Ax - b\\\= ■] /T l/2 M T (Ar - h) Vo 

HO - Ml :. 

M 然通过解非奇异的上二角方杩组二 r 町得到 : r ^, 

呵以证明这种方式得到的计算解 u 仵 （ 5 . 3 . 4 ) 〜 ( 5 . .3. 6 ) 意 
义下是 LS 问题的近似解.这苕上去很惊旮， N 力在计算过程中会 
出现大数.每经过一次快速 Gvcns 变换，加权矩阵 D 中的元素就 
可能翻倍，然而，/>的增大正好可由 M 的增大来补偿，因为在整个 
计算中总是正交的.正是这 现象 才便人们能得到很好 
的误差分析. 

5.3.7 LS 问题的灵敏性 

下面给出扰动理论，它存助 f 比较 LS 问题的法方程组法和 
QR 分解法.下面的定理考虑 LS 问题的解以及剩余是如何受 A 
和6的变化的影响.为此，要确定 LS 问题的条件数. 

在分析过程中需用到两个 显而舄 见的 事实： 

!i A|| 2 ||(A T A)- I A T || 2 -^(A) f 
II A || 2 |(A t A) 1 II 2 -ac 2 (A) 2 . (5.3.7) 

这两个方程可用 SVD 来验证 . 

定理 5.3.1 假定 . r T r ， 壬 和 f 满足 

j| Az — b \\ i = min r~b~ A./: 

|| (A + (M ).r — (b t Sb ) \\ 2 = niin r — { 6 + ^ } - (A + SA ) x 
其中 A 和 M 属于^心且出>/7 t 0 ^ b y db 属于九 ' 如果 

I II M || 2 II ^ || 2 1 ^ W (A) 

e = max l 『 a -『 2 ' Tm <_ 

和 

sin ⑻： 



其中阳 = II 人 Tls _ 6 I 丨2，则 

義⑷十犯） 

(.5.3.8) 

1 1 — 广 1 1 

— IT b |PT^< e ( 1 1 2 ac 2 ( A )) min ( \ ，川- ") 叶 0( e 2 ). 

(5.3.9) 

证明设 £ 和 / 定义为 E = SA / e 和/=舫 / e ， 通过假设 
II M || 2 <1(為）和由定理2,5.2，对干所有/6 LO ,£ l,tr rank(A 
+出）=^.由此推出 

(A + tE) r (A + tE ) x ( i ) = (A + tE ) T ( b + tf ) (5.3.10) 

的解 、 r ( f ) 对所有是连续可微的.由于 1 = 2(0) 和王= 
1( e )， 有 


多= j ' + ei (0) + G ( e z ), 
假设^关 (） 和 S i n (幻关1 保证 / . r 造非零的，故 


II J ： r| 2 


-£ 


U (0) II 2 

H 


+ OU 2 ). 


(5.3.11) 


为了对 IU (0) |[ 2 限界，对 (5.3.10) 求导且令 r =0, 得到 


即 


E t Ax + A t Ex \ A t A .t(0) 


^(0)-(^ t A) 1 A T (f-Ejc) + (A T A) ] E T r. 

(5.3-12) 

将此结果代人 （5.3.11)， 取范数，利用很 M 验证的不等式 || /|| 2 
<1|611 2 和1|£|1 2 <11名|| 2 ,我们得到 


‘ I “ M UW-UT " 2 (|| A '||；|| L lh ； -0 

+ rf !^ l | A | l _ A ) 、|4. 收 2) . 
由于4丁(如-6)=0, Ai 对 Ax — 办是正交的，故 
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因此， 


1 h - At II i + II Aj: II 2 = !l ^ i 2 * 


il A || i l| ， II ^ II 2 ~ 

于足利用 （5.3.7) 有 


J： - 

1 U - 


( 十⑷⑻ 


— K 1 ( A ) 2 


Hin ( 6 )[ 
~^^¥) \ 


+ 0( e 2 )， 


因而得到 （5.3.8). 

为证 (5.3,9), 定义可微向量函数 r ( f ) 为 

r(t) =、b + tf、 _ (A + tE),r(t) ^ 

li 观察到 r = r (0) 和? rU ). 利用 （5.3. 12) 可以 证明： 

^( 0 )-(^- 4 (/ 1 ^)-^ 7 )(/ - Ej)-A(A T A)~ l E J r . 


由丁- II r-r || 2 = € || r (0) || 2 + OU 2 ), 我们冇 


II ： e II ^(0) || 2 


~ II ^ II 2 

\\I-A(A J A)-W 1 ' W 2 (\ 


+ 0{e 2 ) 

I! a II 2 ；u II 


十 II A(A t A) 1 'i, II A !i 2 \ f OU 2 ) ■ 


由 

II A 1! 2 II ^ ll 2 = li ^ [| 2 || A + ^ II 2 ^ ^ 2 (^) II ^ II 2 , 

Hi - A ( A T A )- l A T )b II 2 
< II 7- A ( A T A )- 1 A T I 1 2 II MI2 , 


和 

|| ( J - A ( A r A )' 1 A t ) II 2 = min(j?/ - w ， 1), 
故知不等式 （5.3.9) 成立. 

(5.3.8) 的上界的一个有趣特征是 


□ 
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x^n(Q)ic 2 (A) 2 -—=^^==K2{A) 1 . 

V lU II z - joLs 

由此可以看出，对非苓剩余问题的敏感性将由条件数的平方 
来度暈.而余量的敏感性只是线性地依赖于 >^(A). 这种依赖在 
例5,3,1屮得到证实. 

5.3.8 法方程组法与 QR 分解的比较 

将解 LS 问题的法方程组法和 QR 分解法进行比较 J2: 有意义 
的.回想我们的讨论屮的上要 观点： 

. LS 问题解的灵敏性大致与 + 

• 法方程组法得到的解的相对误差依赖于条件数的平方. 

* QR 方法 （ Householder , Givens , 细致的 MGS ) 解一个近似的 
LS 问题，得到的解其相对误差约为 : t{K 2 {A) + p^ 2 {A) 2 ). 
因此，可得出结论 ：如果 Pus 很小且 ^(A) 很大，则法方程组法不 
会解一个近似问题，它通常给出比稳定的 QR 方法精度低的解.相 
反，当用来解大余量和坏条件数问题时，用两种方法得到盖不多 
的不精确的解， 

最后，我们给出关于 QR 法和法方程组法优劣的另外两个因 
素： 

• 法方程组法在时只需进行一半的运算，且不需要太大 
的存储空间. 

.由于应用于 A T A 的 Cholesky 算法会在执行 Q r A = fi 的向 
后消去过程前中止，因此 QR 方法适用于更大的矩阵类. 
相信以 h 的讨论至少会便你认谀到选择一个“正确的”算法是多么 
困难. 


习 题 

5 . 3.1 假定 A L Aj ： = A l b,(A T A + F)^=A J /),2 || F || 证 

明如果 r = b-Aa:J = b-Ax Mr- r^A(A 1 A^ 和 
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'I ： r H 2 ^2 Kl (A) i' J ， ll 〉 

5.3.2 假定 A t Aj ' = A ' b . A'A ^ = A T h I /，其中 I! 1 < 
^ || A 1 IM MU， 且 A 为列满秩的，证明 


； II, 


ik 2 (A ) 2 


.IV II 2 il 6 ；| 


I A J h |i . 

5.3.3 设 At " …， '定义 4 = 证明 

WA ^ hCA ) 和〜 A ). ㈤ 此对矩 陴增加 一列行，条件数增大」 
S .3.4 令 … （川 ，'定义 

I A 1 

L 汁 


B 


UL 明 ( B )-'--：； v A i ! A '||p I : !： 2 ■ 因此对矩阵增加一行 

后，茶件数可能变大或变小 

5-3.5 ( riint ' !973)假定 <4 G 4的秩为心用列 选中冗 的卨斯消去 

法汁算 P 4 = iJ 7, 其中是单位卜—三角阵 y 是 t _ _ : 角阵 ， p 
是置换阵，指出如何利用习题 5.2.5 的分解来寻找…个向 M zU- n 
侦得 lj k - PMU 最小化 i 明如果瓜-%则 II Aj：~h |1 2 取最 小值」 证明 
当 m (5 n /3时，从浮点运算的角度在求解 U 问题上此方法比 Householder 
QK 方法史_有效- 

5.3.6 在许多统计学的应用中都要用到矩阵 C = 其中 

v^nki A )- n ^ C 称为方差一协方差矩 阵假定 QR 分解 A =⑼可行，证明 
( a ) C -( fi T fi ) l ,( b ) 给出-个算法在个 fbp 内求解 C ； 的对角线元， 


(c) 证明 


R = 



一 C 二 (R ] R) 


( 1 4- C\v) /(t 1 — Ci 

C ： v / a Cj ' 


其中 c, = (s l s)- ] . 

(d) 利用 （ c) 的结果，给出一个算法用 c 的 t. 二角部分覆盖 fi 的上 F 角 
部分，算法应需 2//3fbp^ 

5.3.7 假定是对 称的， 厂 二办 _ 其屮/非 
零 .指出如何计算出 个 对称阵 E6 、 : nK ' 使其 Frobenius 范数最小且 （A t 
= 提示，利用 [u ] 的 QK 分解，注意 F^l = r^>(Q ] EQ)(Q T ^) = 

Q'r. 
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5.3.8 指出如何计算最接近 1'wpiitsz 阵的循环阵 . 用 Frobenius 范数定 
义距离 . 

本节注释与参考文献 

我们只 限丁最小二乘近似并不见反对 K 他范数最小化有些时候应该对 
|| * II ，进彳 r 最小化，其中 /> = 1 和〜，这方凶的一些算法诸参阅： 

A. K. Clmc( 1976a). 11 A. Method for \he Uniform Solution lo Ovcrdetennincd Sys¬ 

tems of Equations, S/AJVf J ■ Num . Anal. 13 ,295 — 309- 
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YLi(l 列 3) . “A Globally Conveigem Method for L p Probkn^," SIAM j Op'.imizatton 
J, 609—629. 
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ttons T 77 T 323 — 341. 

应用离斯变换求解 LS 问题因比用 Hoi^eholder 和 Giverus 变换代价小，而吸引了很 
多注意力，参阅： 

G- Peters and J-H. WU^nsont 1970). “The Least Square Problem and Pseudi>Inverts, ，T 
Compj. 13 ,309 — 316- 

A. KXlinc0973) - '*An Elimination Method for the SoiuUon of Linear l^t Squares. Prob¬ 
lems, "SIAMJ. Num. Anal. W ,283—289. 

R.J. Pleinmonst 1974) - "Linear Leasl Squares by Elimination and MGS,'7 Aaoc . Comp. 
Mach . 21 , 581—585. 

LS 问题的许多重要分析和求解方法 兕于： 

Imporwrit finalyses of the LS problem and various iolution apptuaches include 
G.H-Golub and J. H. Wilkiruont I%6). "Note on the Iteralivc Rcfinemenl of Lefist Squares 
Solution, ” Numer l Math .9,139 — 248. 

A. van der Sluis( 1975). "Stabilily of the Solutions of Linear I^ist Squares Problem, "Nu- 
Math - 23 ,241 — 254. 

Y,Saad(l986). "On the Condition Number of Some Gram Matrices Arising from Least 
Squares Approximatioti in the QjtnpleJt Plflne. ' biurner. h4ath - 4S , 337- _r 34H, 
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ABjorckdW). ^Stability of the Method uf Stminonivil Equfiuon/'LiVi. 

and Its Applic . 88/89 , 31 — 48 . 

J.GluL-howika find A, SmoktuntJwic:a(14^0). "Solving tht Linear Lea^t Square Problem 
wiih Very High Relative Accuracy/ 45 .345 — 354 

A Bjorck( 1991 ) r “Carnponem - 的 i'^o P[rrurbatit>n AN^Iy^ fdt]d Ermr Lioimds far Linear 
Ijcast Squints SoluUom?, +P lif T 3! + 238 — 244 

A Hjofck and C, C. Paige ( \992). “l^oss and Reaiplure of Qrtliogonjility in the Modified 
(iram-Schniidt AJgonllun,"5/AM j . Matrijc Anal Appi 1JJ7A — 190. 

K W^ldcri,R. KarlsonJ, Sutl( 1W?) “Optimal liackward Ptfriurelhfltion I bunds for the Lin- 
tfijir Least Squaivs Problem + T ， Numerjca/ Li «, Alg. ^ith Applic 2 >271 — 286. 

半规范的方程由 R l R ^ = A ] b {^^ A gfi > 给定在 L 述论文屮，通匕求解十规 
范方程 T 如束进行一次精度的迭代 改誇则 可获得 一个吋 接受的 LS 解 
用 MGS 方法求解 LS 问题的 Algol 算 法见： 

F. Lliaucrt 1965) p ** Elimination wilh Weighted Row Combi nations for Solving Linear Equa- 
tions and Least Squares Problems 'Vumer, Math . 7 ,338 — 352, Sec aLsn Wilkinson and 
RatiMh(iy7J ,11Q—133,) 

LS 问题经常具有特殊结构凼此应当允分利用： 

M . G . Cox( 1981) ■ "'The Least Squares Solution of Overdelerniin^ri Uncar Equations having 
Hand or Augmented Band Strut tur^/'/AlA J r Num Anal, i ,3 — 22. 

GXybenko( 19S4). He Numerit^l Stability of the Lattice Alg^nlhm for Squares 

Linear Prediction Problems/ P ii/T 24 ,441 — 455. 

P,C,Hansen £ind H. G«m<ir( 1993). “Fasl Onht^onal Decomposition of Randk-Deficient 
Toepliiia Matrices, ^Numerical Al^ohl^rn^ 4 ,151 — J66 r 

应用 Householder 矩阵求解 LS 问题要加小心以防过置的填允： 

J r K, Reid(^%7)/'A Note on the Sq^res Solution of a Band Sy^iein of Linear Kqua- 
tioni by Householder Reductions, 'Cortip . J . JS9, 

I, S. Duff and J. K. Kcid(l976), "A Compari&on of Some Methos for ihe Sotulioti of Sparse 
Over-DeLermiried Systems of Linear Equ^liorii?, V . Inst . Math . Applic, 17 T 2S7 — 2S0. 
PE,Gill and W. Murray( 1976). —The Orthogunal FacloriKation of a 1-argc Sparse Matrix/' 
in Sparse Matrix QmiputalioJis ^ ed. J r R r Bunch and D. J. Rose，/Vftdemtr Press, New 
York t pp. 177 一 200. 

L- Kfiufan( 1979). ^Application of Householder Transfomialions To a Sparse Matrix + ，T 

ACM Trans . Math ， Sop ， 5 ， 442—451. 

尽管应用了 Hou^holder 反射后 QR 分解更加 A 效 f, 但有典场合用 Chens 旋转更 
有效，例如当 A 是稀疏阵时，小心地应 用 Givers 旋转可以把填充星降至最低. 

IS. DuiTO 974 ) 」 “Pivot Selection and Row Ordering in Giv™s Reduction on Sparse Matri- 
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ccs r rr Computing 13 ,239 — 248. 

J . A, George and MT. Heath ( 1980). “Sdulion of Sparse Linear Squares Problems 

Using Givens Rotations/ . A/^. and. Its Applic 34 ,6f) — S3. 

§5.4 其他正交分解 

如果 A 是秩 亏损的 ，则 QK 分解+ 定 能绐出 ran(d) 的- 
组正交基.这问题吋通过计算经过列置换后的 A 之 QR 分解米解 
决，即 Ail=01i, 其屮 JT 足置换阵. 

如果右乘一个一般正交阵中的数据可被进•步压缩 
Q T AZ= 1\ 

有些 Q 和 Z 的有趣选取，这些选取以及相应的列上元的 QR 分 
解正是本节要讨论的. 

5.4.1 秩亏 损：选 主列的 QR 分解 

如果 AGR” iX " 目_ rank(A)< «，则 QR 分解不一定产生 
ran(A) 的一组正交基.例如，如果4有二列且 

"I 1 r 

A = 「 ai ，〜内」= [ ， 93I 0 0 1 

j0 0 1- 

是它的 QK 分解，则 rankM ) = 2,但 mi ( 4 ) 和三个子空间 
spanl <7! I »span| 9i ,仍丨和 span \ qt，qz \ 中任何一个都不相等 ■ 
幸运的是， Householder QR 分解算法（算法 5.2.1) 可做简单 
修改来生成 ran(A) 的正交基.修改的算法计算分解 

fil2 l r (5.4.1) 

L 0 0」m _ r 

r n — r 

其中 r = rank(A), Q 是正交的 ，R u 是上三角阵且非奇舁， /I 是 
置换阵.如果按列划分 
对走= 1:72有 


- 287 - 



、 =XI r ： k^h ^ span I q 丨 ，…，"丄 

t - l 

送意味 

ran ( A ) ~ span ^ •>"' •,<}> r ■ 

矩阵 （2 和玎分别逛 Hoi ^ holdo ■矩阵乘积和仞等置换阵的乘积. 
假定对某个々我们已计算了 Housciiokk : ■矩阵 Hr H k 1和置换 


R ik ~ l] 


k -i 

L o ug — n 」 w - 办 4 i 


(5.4.2) 


k - 1 n - k +\ 

其中只1广 1) 是非奇异 h 二角阵.现在假定 

1} = [ fV'U 

是按列划分，且令是满足 

If 4"' 1) ll 2 = -axi !j n ，，， IU”>|| 2 . 

(5.4.3) 

的最小下标.注意如果 A _ 1 =mnk( A)， 则这个最大值是零，从而 
计算至此结束.否则，令足互换第/>列和第 A 列的单位阵，并 
且确定 Householder 矩阵札使得对 R ik) = HK (k n U b ^ 
尺 ( 4左+1:抓，0 = 0.换句话说，风把以！ _1) 的最大的列移到前 


面，古^把它的非对角元化为零. 

如果利用 

a 1 : 二[卞 IUIIi= It z II W 

L cy -I 

对于任何正交阵 G 6 v iX '均成立的性质，那么+必每一步重新汁 
算列范数.因为我们可以通过修止旧的列范数来得到新的列范 
数，即 

H = II ，叫）0-4， 
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这使选主列的丄作量由 （ K ,»« 2 ) 次减少到 0( 次.综上所述， 
我们得到 Businger 和 Golub ( 1965) 建立的 算法： 

算法 5 . 4 ■ i ( 选主列的 Householder QR 分解）给定 A G 
本算法计算 r 二 rank (力）和因子分解 (5, 4.1)，其 
中 H^n -ni n t , a 的上三角部分被《的上三角部 
分覆盖，第 J ■个 Householder 向量的 _ /十1 : m 分量存储于 A (j + 1; 
扣，_;)中，置换阵 H 由整数向量 piv 来标记，具体地说， JI , 是将第 
j 行和 piv(>) 行互换的单位阵. 
for — j — \：n 

c(j) = A{[zm ) T A(1 ： m y j ) 

end 

r = 0; r = maxic(l) ， ". ， c.(/7)i 

找最小 便得 c ( k ) = t 

while r> 0 

r = r 十 1 

piv( r) = k; A ( 1 : m ， r)—-A(l: m ， 左）； c(r)^N: ( 是） 

[iy , /3] = house( A ( r ： m , r)) 

A(rxm,nn)- (/ w _ r h L - ^uv T )A (nm , r: « ) 

A( r + \ t m y r) - v(2 ： m ~ r ^ 1) 
for i = r -i -1 ： n 

c(i)- c(i) - A( r» 0 2 


end 

if r < 7 i 

t 二 max i c (r + 1) ， ‘.- T c(n)| 

找最小 k{r + i^k^n ) 使得 c(k) - r, 

else 

r-0 


end 


€nd 
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本算法需要 Anuir -2 r 2 {m + /; ) + 4 r 3 /3 ，其巾 r = mnk(/i ). 
如同非选主的算法 5 . 2.1 —样，] K 交矩阵 0 以因了■分解的形式存 
储在 4 的对角线之下. 

例 5 . 4 .1如果用算法 5.4. 1来解 

n 2 3- 

1 5 6 

A = , 

18 9 

U 11 12- 

则11= [^3 ^2 ^] ] ，保留 3 位有效数我们有 


182 

- 0.816 

0.514 


0. 191 

- 0.365 

0.408 

- 0.827 


0- 129 

0.548 

0.000 

0.113 


- 0.829 

- 0.730 

0.408 

0.200 


0 . 510 - 

16.4 

- 14.600 

- 1.820 

- 


0.0 

0.816 

- 0.816 



0.0 

0.000 

0.000 



- 0.0 

0.000 

0.000 

_ 



5.4.2 完全正交分解 


由算法 5 . 4 . 1 产生的矩阵如果从 t 边用一组适当的 
Householder 矩阵相乘则吋进 步缩小. 具体地说，我们可用算法 
5 . 2 . 1 来计算 


L 只?2」 


ITJ, 

[ 0 


其中是 Householder 变换，是上三角阵 .于是有 


( 5 . 4 . 4 ) 


Q t AZ^T = 



V 

0 J /« - r 
n — r 


(. 5 . 4 . 5 ) 


其中.我们称任何这种形式的分解为完全正交分 
解■注意到 nuiKA ) = ran ( Z(lu + 1 : 73 ))，有关利用 （ 5 . 4 . 4 ) 的 
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结构之细节请参见题 5.2.5. 

5.4.3 双对角化 

假定 A € …下面我们给出如何计算 正交阵 
和 使得 


fi 0 


uIav b = 


0 d 2 f 2 

• *t * a 

* * * * 

0 … d 7l - { 

0 … 0 


0 

0 

Jn - l 

^Ti 


( 5 . 4 . 6 ) 


L 0 」 

U B = U ^- V n 和 v r .. W 2 都可由 Hcxjsehddcr 矩阵乘积给 

出： 




_x 

X 

X 

X" 


一 x 

X X 

X" 






X 

X 

X 

X 


0 

X X 

X 






X 

X 

X 



0 









X 

—- w 

X X 

X 





X 

X 

X 

X 


0 

X X 

X 






-X 

X 

X 

X J 


0 

X X 

X 」 






_x 

X 

0 

0- 


X 

x 0 

0 - 






0 

X 

X 

X 


0 

X 

X 

X 






0 





0 

0 



V, 





X 

X 

X 


X 

X 

- ， 




0 

X 

X 

X 


0 

0 

X 

x 






- 0 

X 

X 

X. 


-0 

0 

X 

X- 




_x 

X 

0 

O' 


_x 

X 

0 

0 " 


_x 

X 

0 

0 - 

0 

X 

X 

0 


0 

X 

X 

0 

o> 

- - 

0 

X 

'人 

0 

0 

0 

X 

X 

0 

0 

X 

X 

0 

0 

X 

X 

0 

0 

X 

X 


0 

0 

0 

X 


0 

0 

0 

X 

Lo 

0 

X 

X- 


-0 

0 

0 

X- 


-0 

0 

0 

0- 
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一般地， L 4 在第 /■ 列引人零元，而％ 在第 k 行引迸零元.整个算 
法 如下： 

算法 5-4.2( Householder 双对角化）给定 A € . mx " 且 m > - 
„， 本算法以 t/jAVs = if 覆盖 A ，其中 if 是上二对角阵，且 U n ^ 
Vr - U U , V H ^ Vr - V Tl 2t G 的 Householder 向量的基本部分存 
储 A (_/ + 1: ) 中， Vj 的 Householder 向量的基本部分存储于 

Aij.j ! 2 : w ) 中. 
for = j~ 1 ： w 

「 r ， /3] = house(A(j ： m ,j)) 

A(j : ?n J : rt) ~ (I m r + 「 1 )A (j : m xn) 

A(j ^ ： m J) = v(2im ~ j + \ ) 

\f j^n — 2 

[v house( A {) t j i 1 ： ?z) 1 ) 

A(j：m ,j +1: w) = A(j :m，j + 1 - (im? ) 


end 


end 

本算法盖要 4 mn 2 - 个 flop - Golub 和 Kahan ( 1965) 使用了 

此技术，并首次提出了双对角化的概念.如果需要和的显 
式表达二者可分別在 - 4« 3 /3和 4? i 3 /3 个 flop 内累积 
得到的双对角化与的三对角化密切相关，参见 8.2.1 
节 ■ 


例 5.4. 2如果用算法 5. 4,2来解 


,-- | 

M 5 6 | 

7 8 9 | 

1 11 12J 


则用3位有效数计算有 
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B = 


12.8 

21.8 0 ’ 


1.00 

0.00 

0.00 - 

0 

2.24 - D . 613 





0 

0 0 

，% 二 

0.00 

-0.667 - 

0.745 


-0.00 

-0.745 0,667 - 

- 0 

0 0 - 






-0.0776 - 

0.833 

0.392 

-0.383' 


Ub = 

-0.3110 - 

0.451 

-0.238 

0.802 


-0.543 - 

0.069 

0.701 

-0.457 



L -0-7760 0.312 

0.547 

0.037 - 



5.4.4 R 双对角化 


当时，如在使用算法 5.4. 2之前首先对4进行上三对 
角化，则会得到一个更加快速的双对角化算法，具体地说，假定我 
们计算一个 IH 交阵0 使得 



是上三角阵.然后对方阵 Ki 进行双对角化 
UlR ] V B = B ] . 

这里和％是^ 乂《正交阵，仏是 nXrt 上双对角阵.如果 
=Q 喊他人，），则 

UAV= [二1啡 

是 A 的双对角阵. 

以这种方式计算双对角化的思想是 Lawson 和 Hansen ( 1974, 
119页）提出的 T Chan (1982) 对此做了更全面的分析.我们称此方 
法为 R 双对角化，将它所需的 flop 数 （2 m « 2 + 2« 3 ) 与算法 5.4. 2 
所需的 （4 mn 2 - 4« 3 /3) 相比，可看出在 w /3时，它所需的计 
算量要少一些. 

5.4.5 SVD 及 其计算 

一旦完成了対 A 的双对角化， GoiubReinsch 的 SVD 算法的 
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f 一 歩是对 B 的上次对角线进行 消枣. 这是-个迭代过程，可由 
Gdub 和 Kahan (1965) 的算法来完成.但由于对此迭代法的讨论需 
有关对称特征值的知沢，我们将其放在 §8.6 中讲述.现在只指出 
它能够计算满足 

V l ^ V s = diag ( a 】〜 ）e o 
的正交矩阵 t ； 2 和\^.通过定义 t ；= 和 V = ] ■以看 

出是 A 的 SV 1〕. 算法中这部分计算的 flop U 4 SVD 
分解到什么程度有关.例如，求解 LS 问题时， l / T 从来不用显乂求 
出，只是随着 l / T 的产生，将它作用到6上即可.在其他应用中 ， M 
需要矩阵 l / t = .共计有六种可能情况，每种情况下 

SVD 算法所需的工作量总结在下表中.由于存在两种双对角化的 
方法，因此有两栏的 flop 数.如果通过算法 5.4.2 实现双对角化， 
则产生 Golub - Keinsch { 1970) SVD 算法，而如采用 R 双对角化，我 
们得到 Chan ( 1982 a ) 详细给出的 R - SVD 算法.通过比较表中的值 
(只是工作量的近似估计），我们的结论是 ：除非 m 〜 《, R - SVD 方 
法更有效. 


需要 

Golub- Reinsch SVD 

R SVD 

s 

4mn z - 4n 3 /3 

2mn 2 + 2n 3 

S , V 

4mn 2 + 8 

2mn 2 + lln^ 

m : 

4m 2 n — Srrtn 2 

4r^ 2 n + 13« 3 

X, u , 

\4mn 2 - 2n 3 

6m n 2 + 11 k 3 

u, V 

4mn 2 + 8 win 2 + 9n 3 

4m 2 rt + 22n 3 

X ， l /卜 V 

14 则 2 + 8n 3 

6 訓 2 + 20 m 3 


习 题 

5.4.1 假设且讯 < n. 给出一个算法求解 
l/ x AV = [B ， 0 ]， 

其中 B 是 m X m 的上双对角阵 .（ 提示：利用 Householder 矩阵获得 
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X X o o 0 0 

0 x x 0 0 0 

0 0 x x 0 0 

0 0 0 x x 0 

的形式，然后自右开始进行 Giverus 旋转变换来向上“追 赶"第（饥 + 1) 列的 
(m , m + 1) 元索 ■) 

5.4.2 指出如何用 Givens 旋转对一个 n X " 上三角阵进行双对角化. 
5.4,3 指出如何用 Givens 旋转对进行双对角化. 

5.4.4 令 且假定 1^0满足 ||如 || 2 = ffra (A) H ^ IU- 设 JI 

是满足当 JI T u = w 时有 |u>„l = II U* IU 的置换阵.证明如果 AI1「=QJ? 是 
AIT 的 QR 分解，则因此总是存在置换阵/!使得 AJI 的 
QR 分解接近秩亏损. 

S.4.S 给定 ^ fy eR m , Q ^ R rnX \ Q 是正交阵，证明如果有 

= [°] 1 l f QTy = [^] 1 

则有 u. 1 v = x v y - a ^. 

5.4.6 给定 A = [… 对 A 的列向童的任意子 
集 U t t ，…，〜丨，定义 

res[a rl ，…， a*] = min || [o r i , ]jt - 6 || 2 

J* 

描述 - 种不同于算法 5.4.1 的选主元方法使满 足：如 果最终分解有 QR- 

Ai 7= [ a rl ，…，知 ] ，则对 于 k = 1: n 有： 

res[fl ri ，…… ] = min res[" f a rf _ t f a (T ] 

本节注释与参考 

完全正交分解的讨论见丁 

R Hanaan and C. L, Lawgcm( 1969) ^Extensions and Applii^.tiana ai the HDu：Bcholder Al¬ 
gorithm for Solving Linear Least Square Problems r +P Math , Comp. 23 1 787^812. 

PA. Wedin(l973). w On the Almost Rank-Deficient Case of the Least Squares Problem/ 
BIT i3,344—354. 

G. H. Golub and V r Percy ra( 1976) 「 “Differentiation of Pseodo In verses ， Sepatsb[e Nonlinear 
1-east Squares Probltms and Other TalcvS t " in Cienemiized I nurses and Applications t ^d. 
M. Z, Washed t Academic Press*Now York.pp. 303 — 324. 

SVD 计算在 §8.6 洋细介绍，但以下是有关的标准参考 文献： 
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G，HQluL and W. Kabsn( 1%S) - Ukukting Singular VhWs and (Vuck>Invert of a 
MiUrix，" SIAM J r Nu?a - A?ui /. 2 t 2(15—~224 - 
P. A. BiismRer and G H. a 5 bb(l %9) - " Ai^rilhni 35K：Smguiyr Value f^ot)m]x^tion of 
ihe Complex Matrix t T t r ACM J2 ,564 —565 」 

G. H. c^lub and C. Rei»sch( 1^70), "Singular Valut. Dcccn^iiof) and I 故 st Squares Solu- 
Tbiis, ，， .\WM. M“"f- /4 ,403—420. SefaU Wilkit^n iind Rdnsoh C 1971 T pp. 1334— 
1351.). 

T- F.t ； han(19S2), "An Improved Algorihrrn fur (hmpuXiriR the SinRular Value IVcomjxjsi- 
lbn, ”ACM T 辑 ， Math Soft . H , 72—83. 

选主列的 QR 分解最早下面文阜中讨论： 

P. A. liusm^r and G-H. 1965 ) ， 1 如效 L^i Square Solution* by Ho^holdcr 

Tr&nsfomifltioh/ T -Vjimtr, Math 7, 2f>9—27fi 」 如 aliu Wilkiriyjii and Reiri^h( 1971, 
Pl>r ll — IS)- 

很难决定算法何吋停止 . 在秩 5 损的问题中，获得右关 R 的上三角阵的最小脔异 
值的倍息将很有帮助，这玎通过用 15 ■ 4 节的技巧或下述文 $ 中的方法来灰观： 
j, Karasab( 1974)， “A Criterion for Tmncation of ihe QR【Composition Al^ritlini for the 
Singular Linear Letiil Sqoarei, Problem, "BJT 14 ， 156 — 1&6- 
N, Andcnson arid I - Karasslo( 1^75), X)n Cjonipcting 13t>umMor [he; Ltstst Singular Value of 
Tnar^gubr Matrix/'fifT 15 y l — 4. 

用 QK 分解来估计秩的其他问题可见 文献： 

T, V, Foster(1986). **Rank and Null S[>ace Calculatiurw Using Matrix DeftTmp^uion without 
Column Inter {: Lin . AI^. and //i Aplic . 74.47 ■— 71 - 
T,F. Chan ( 1987 )」 "Rank Revealing QR Factori 如 iuns T ” Lin Aig. anJ hs Applk - 
88/89 ,67—82. 

T.F. Chan and P. Hansen (1992), 'Some Applications of ihf Hank Revealing QK Factors- 
tion, ” SrAJW J. Sd t aml Stat. C^rmp. ,727 — 741. 

].L.llarlow and U- R. Vemulapflti(\992) - “kank Detection Mdmds kjT Sperse Matrices’’ 
.SIAM J - Matrijr. Artal Appl, !3 1279" — 1297. 

T-M.Hwsng,W-W. Lin, and El Yang( 19^2) - ** Rank Reveling LU Facto] izations_ ” 
Lin . Alg, and hi Apptk. J7511S^I41. 

C.H. riist：hof and P. C Hansen< 1992) H A Hbck Algorithm fur Computing Rank-Revealing 
QR Factorisation ^，’’^iumericni Al^omhtns 2 ,371 -^392. 

S, Chmiclraaekarcn and I.C F, Ips<n( 1994) ■ “On Rarik-Rcv^liT^ Kactoii 功 lions, "5JAMJ, 
Mairi^: Anal. Appl. 15 ,592 — 622, 

R. EX Ficrm and P C. Hansen( 1995). ''A^untuy of 1"SVD Solutions Computed from Rank- 
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Revealing Decotriposition 〜 7 burner - Mach . 70 ,453 - — 472. 


§ 5 . 5 秩亏损的 LS 问题 


如果 A 足秩亏损的，则 LS 问题冇无穷多个解，我们必须罙 
用特殊的技术.这些技术必须考虑确定数值秩这一难题 ■ 

给出一些 SVD 的预备知识后，我们说明选主列的 QR 方法町 
用来确定使得 Ar B Mr = mnk(A) 列的线性组合这样性质的极小 
点.然后 N ■论可由 SVD 得出的极小2范数解. 

5 * 5 , 1 极小范数解 

假定 A € x H 且 rank ( A ) = 秩亏损 LS 问题有无穷多 

个解，这是因为如果 ^ 是一个极 小解以 GmiiKA ), 则 iT + = 也是 
一个极小解.所有极小解的集合 

X = 1 xd n : || Aj: ~ ^ II 2 =niinl 

是凸的，因为如 q，:r 2 GZ 且； IG[0，1」， 则 

|| A{ Aj：i 十 （1 - A )^ 2 ) - 6 " 2 

|| Ar i - 6 II 2 + (1 — 入 ）11 - b \\ 2 

=min || Ax - b \ 2 . 

因此， A： Ci + (1 _ A)X2€Z. 所以， X 中有 * 个惟一元素具有极小 
2范数，用工匕表不这个解（注意在满秩情况时，只有 - 个 LS 解, 
故它必须有极小2范数.因此，这与§ 5. 3的记号一致）. 

5 . 5 , 2 完全正交分解和 jc ^ 


任何完全止交分解都可用来计算 x us . 具体地说，如 S 和 Z 
是正交矩阵且满足 


Q t AZ = T= [ Tl 

^ L 0 


Olr 
0-1 m 


r = rank( A ), 



I! Ax-b\\l- || (Q'AZ)Z T x-Q T b |||= || T n ^-c \\l+ \\dl\ 2 2t 

其中 

z MT ， 口 M ;] ' 

y - r la 」m - 厂 

很显然，如果： r 使平方和极小，那么必定有 u ，= 厂 1 匕因 为要使 
工的 2范数极 小，. ^必须是零，并且有 



5.5.3 SVD 和 LS 问题 

当然， SVD 是非常显露的完全正交分解.它提供了 j IS 的一 
个简洁表达式和最小剩余量的范数 || Ajr^-b || 2 . 

定理 5.5,1 假定 V r AV = L 是 A G "的 SVD 且？ ■= 

rank ( A ), 如果 17 = U 丨，…， ] 和 V = [ w ， ] 是按列划分 
的 ，6 6 及'则 

工 Ly = i (5.5.1) 

使 II Ar - 6 h 极小化，且是所有极小点中 2 范数最小的.而且 

pis = II - 厶 ||号二 § ( ujb ) 2 . (5.5.2) 

i = r ^\ 

证明 对于任意以，我们有 

II Ax ~ 6 111= || (V t AV)(V t j:) - U T b || ^ - \\La - U T b || 2 2 
= 咧 - ulh) 1 V (ujb) 2 1 

i ^ I j ^ r-i-l 

其中 a = V T _r. 很显然，如是 LS 问题的解，则对/ = 1: r 有 a, = 
U^/ r ). 如令 «(ri- 1:«) = 0,则得到的： r 显然具有最小2范 
数- 口 
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5.5.4 广义逆 


如果我们定义矩阵 A + ” x m 为 A + = V£ + U T 其中 

X+= diag (丄，…，- 1 ,0,… ，0) € r = rank(A), 

cr! a r 

那么 nfA V 且凡 s = || ( 卜 AA +)6 || 2 . A + 称为 A 的广义 
l 它是 

min || AX - I m || F (5,5.3) 

的惟一的最小 F 范数解.如果 mik(A) = « ，则 A + =( A J Ay l 
A t , 而如果似二 《 = rank(A)JlJ A + =A -i ■通常，义为满 
足如下的四个 Moore^Penrose 条件的惟 矩阵 

(i) AXA = A; (iii) (AX) T -AX; 

(Li) XAX=X; (iv) (XA) t = XA, 

这些条件相当于要求尤4 + 和 A + A 分别是 mn(4) 和 ran(A T ) 上 
的正交投影.事实上， AA+ = t/il/L 其中 C/U: 讯 ，〖： r> ，和 

a + ，其中 Vi = v(i：«a：^)- 

5.5*5 — 些敏感 性问题 

§5.3 我们分析了满秩 LS 问题的敏感性问题.定理 3.3.1 对 
这种情形下1^的性质做了总结.如果没有满秩的假设，则 ns 甚 
至不是数据的连续函数, A 和6的微小变化会引起: + 6 的 
任意大的变化.能揭示这一点的最容易的办法是考虑广义逆的行 
为.如果 A 和 M 属于]^ x n ，则 Wedm( 1973 ) 和 Stew ar t( 1975 ) 证 
明了 

||(A + 54) + —A+ ii p ^2 || dA || p max] 1j A + || 2 » II (A + ) + || 2 I * 

这个不等式是对定理 2.3.4 的推广，在那里估计了逆矩阵的扰动. 
然而，与非奇异方阵的情形不同的是，当 M 趋于零时，上界却不 
一定趋于零.如果 
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则 



0 {)■ 
0 £ 
0 0 - 


= ri o o' 

一 ! ■0 0 0 - 


(At- SA ) — = [ 1 


0 0 
l/e 0 - 


A + - (A 4 M ) 4 || 2 二 U e .在有这样的 :+连 续的情形下求 
LS 问题的数值解是个很人的挑战. 


5.5-6 选主列的 QR 分解和基本解 

假定 A 6 〜秩为 r , 选兵列的 QR 分解（算法 5.4.1) 产生 
分解 AJT = Qii ， 其中 

「心 〜厂 . 

L 0 0 」m -r 

r n - r 

有了这分解， LS 问题就马 h 解决了 .事实上，对于任意: 

有 

II H|| 卜 || (Q T AIl)(n T x)-(.Q T b) II ^ 

二 II R uy _(i _ R n z) || !十 \[dU 

其屮 

L 之 」 w _广 L d 」 j/? _ r 

f 是，如 . r 是…个 LS 问题极小解，则必定有 

如果把表迖式中的$腎零，便可得到 基解： 

— [T]. 

注意: r 至多有 r 个非寧分量，故只涉及到 A 的列向量的一个 
子集. 
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除非子矩阵 K 12 是零，这个基解一般不是最小2范数解，这是 

因为 

II iLS II = min r B - II 
r 

事实卜 _， II || 2 的这个特征可用来明： 

1+11 Ru l R\i !i 2 - (5-5-5) 

I ^ us ,1 2 

诈情请参阅 Goiub 和 Pereyra ( 1976). 

5.5.7 用 = 确定数值秩 

若用算法 5.4,1 来计算 i B ， 那么在确定时要非常谨 
慎.为了 了解这个困难，假设 

「云 0 

HjAJIi n k ) = R {k) = 1 

. 0 

k 

是用浮点运算执行算法的第 A 步之后的矩阵.假定 nmk (4 ) =々 . 

因为有舍人误差，及^^不会精确为零.但是，如果夭〗的范数适当 
小，那么就有理由停止约化，并宣称 A 的秩为 k . -个有代表性的 
停机准则是 

II M !) II II A 11 2 ， ■ (5.5.6) 

其中 q 是与机器有关的一个小参数，根据 Householder 矩阵计算 

的误差性质(见 5.1. L 2 节），我们知道6⑴是 A + E k 的精确 QR 
分解之 K ， 其中 

II E k || If ^ II 2 » £2 = 0 (/j)- 

由定理 2.5.2 我们有 

a^ + [(A + ) = 々 + 1 (R ⑴X || R ㉔ ） i| 2 . 

又因 ^ tl ( A )^^ + 1 (A + E h )+ |j E k h ， 因此 


k 

R ( A\ m " k 

n — k 




(5.5.4) 
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<r^+ i( J 4 )^(ei + £2) II ^ II 2 * 

换句话说， A 的 0(^ + e 2 ) 相对扰动能产生一个 秩为々 的矩阵. 

以此为停机准则，可得出 结论： 若对某个6<«，灸 ⑷适当 小时， 
选主列的 QR 约化就“发现”了秩5损. 

不幸的是/倩况并非总如此， - 个矩阵吋以是几乎秩亏损的， 

但没有一个灸妒特别小.于是，选主列 QR 法单独做力判断儿乎秩 
亏损不是绝对可靠.然而，如果对应用一个好的条件佔计数，在 
实际中接近秩亏损的情形就不町能不被注意到， 

例 5.5.1 设矩阵 Tjc ) 如下 

1 - C — L 
0 1 -( 

r H ( c ) = di ag O , w " _1 ) '… 

.0 ■■- 

其中 € 2 + s 2 ^ 1 , c ，. s >0( 参见 I^awson 和 Hanson ( 1974 1 31 
页 ）.） .这些矩阵不会被算法 5.4.1 改变，因此对夫 = -1 有 

II R 妒 II .这个不等式蘊含说明（举例）对于： r lw (0.2) 来 

说，由于/ y 〜0,13, 它没有特别小的主子阵.然而可以证明= 
0(10 — 8 ), 

5.5,8 数值秩与 SVD 

现在我们集中注意力于有舍人情况时用 SVD 方法处理秩亏 
损的可能性.回想到如果4 = UEV t 是 A 的 SVD ， 则 

j：]s = 2 (5.5.7) 

a i 

其中 r ■二 rank ( A ). 用£/, f 和云= di 呢 U t ) 表示 t ； , V 和 Z = 
的计算值.假定两个竒异值序列都是从大到小排列的.合 
琿地利用 SVD 算法可推出 
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W + At/, w r w = i„ lt || At/ II 2 < (5.5.8) 

Z + AV, Z T Z = f„, II AV || 2 <e f (5-5.9) 

W t (A + 厶 A)Z ， i| AA || 2 < e II A II 2 , (5.5. 10) 
其中 e 是 ii 的一个小倍数足机器精度.简言之, SVD 算法将算 
出“邻近”矩阵 A + AA 的奇异值. 


注意&和爹不一定准确地逼近 U 和 V . 但是，我们可以证明6 
逼近用 （5.5.10) 和定理 2.5. 2,我们有 
<Jk = min 11 A - B || 2 

tmk(lf) k- 1 

=min II (£ - B) — W T (AA)Z || 2 - 
因为 li W t ( AA)Z ! 2 ^e il A II 2 = 叫且 

min || Ij - B || 2 = h ， 

r^(B)~k 1 

由此可得，对左=1 : " 有 l 々— 心|< 叫. 7 1 是如果 A 的秩为 r , 那 
么计算得的奇异值中的 n _ r 个值会很小.当计算了 4的 SVO 
时， A 的几乎秩亏损性必定会暴露出来. 

例5, 5. 2 对于例 5.5.1 中的矩阵 T 10 o ( o .;> ^ 

0.367*1 D " K , 

由计算得的奇异值来佔计 r = nmk ( A ) 的-种方法是取参数 
5 >0,当 5,- 满足 

… 3 > 5 r+1 > 

成立时，我们约定 A 的“数值秩”为 r . 参数3应当与机器精度相 
协调，例如取 hull A || m , 可是，如果数据普遍的相对误差比 U 
大，那么3也应相应地大 一些. 例如， A 的元素只有两位有效数 
字，则可取5 = 10_ 2 IU II 

如¥将 r 做为数值秩，我们可将 
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视作 上以的 近似解■由 J : il # || 1/吖：^/占，也可以按需要选 
取^ 以便存 :范数适当小的意义下产生近似的 LS 解.在§ 12 .1，我 
们将 i ' i 论解决此问题的更精致的方法. 

如果心 >3,那么我们有理由满足于，因为此时可以毫尤 
疑义地视 a 为秩 f 矩阵（对 r - 模幻， 

反过来 T : 5 卜…， &丨不能明显地划分为小的和火的竒好值子 
集， 这样用该方法确定〃有一些任 意性. 这将导致估汁秩的更复 
杂的方法产生，下面我们针对最小二乘来讨论它们. 

例如，设 r ^ n 上 1先假设 （5. 5. 10) 中的 =0. 于是①二 

5,(? = 用 UpWi ’ Vi 和&分别表小矩阵 (>,| V ， V 和 Z 的第/ 
列.从:减去并取范数得到 

Ik - 叱 \\ 2 ^t 1(5 处 _U^)^L 2 . 

由 （5.5.8) 和 （5.5.9) 容易证实 r_riI 

j| ((t)Jb)z 1 - ( ujf>)v, II 2 < 2( I + £>£ II 6 If 2 , 


因此 


(5.5.11) 


II - |j 2 < r" 2 {l + e)e !J /j II 2 + / S {- jb -). 

参数 F 可取为使上界最小的整数.汴意上界中的第- 项 随着 r 增 
大而增大，而第二项却是减小的. 

当极小化余量比解的精度更重要时，可以基于我们所推测 
II b - II 2与真的极小值的靠近程度来确定和上述分析平 
行地，可以 证明： 

fi ^ _ II 2 - II b - Ajl^ JI 2 

<(« e |1 ^ If 2 I ^ + r 1 ^ 1 + e ) L 

.... J 
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N 样， 还町 选取 r 使上界最小.实际细 W 请参阅 Varah {1973}, 
也可见 LAPACK 手册， 

5.5.9 一些比较 

正如我们所指出的，当用 SVD 解 LS 问题时，只有2和 V 必 
须计算.下表将此方法的效率与其他方法做 r 比较， 


LS 算法 

flop 数 

法方程 , 

mn 1 + « 3 /3 

i iousehulder 正交化 

2mn 2 ~2 n 3 /3 

修正 Gram- Schmidt 

2 mn 2 

Givens 正交化 , 

Smn 1 - 

Householder 双对角化 

4mn 2 - 4 n 3 /3 

R 双对角化 ! 

Zmn 2 + 2n 、 

Golub-Keinsch SVD 1 

4mn 2 ^ 8k 3 

R^SVD 

2nm 2 + lln 3 


习 題 


5,5,1 证明如果 



S 1 r 
O - I ™ — r 


有 r=rank(A> 且 T 是非奇异的，则 



满足4^=>1和<#厂=(4；10.在这种情况下，称1是4的（1，3)广义逆. 
证明对 f 一般的 A 有:^二沿，其中叉是為的 （1,3) 广义逆. 

5.5.2 定义《 ( 义） £^^ 为則 ；0 = ( ， 4 十，其中入 >0 ,证 
明 


从而当 X— 0时有 BU)— 4 


iU)U(A > 2 + A] 


r = rank( A), 
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5.5.3 考虑秩亏损的问题 



其中 Ke : , - T ^ e ■假定 k 是 t 二角阵 a 非奇 
异 .说明如何通过不选主元的 《 R 分解求得此问题的最小范数解，并求适当 
的和^ . 

5. S .4 证明如 果有灰 和 A ，— A ‘成立，则存在个整数怂满足 
对所有是常数. 

5.5.5 证明如果 Af "的秩为 t 则只要 il £ li 2 II A ^ || 2 <1就知 
A 4 £的秩也为 n . 


本节注释与参考文献 

广义逆方面文献浩如烟海，以下专甚列出了 1775 篇文献便足很好的 证明： 
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即使在满秩情形时，选主列也能产生更加精确的结果.下則文章的误差分析给出 
r 原丙： 

L.S, Jennings and M R 』 Osbornn( 1974) ， “A, Diriect Error Analysis for Least Squares* ，T 

her. Math— 22 , 322 — 332 . 

下述文荜対秧亏损情形做了讨论： 

J ■ M. Varah(iQ73) , “On the Numerical Solution of lll-Comditioruod Linear SytLetm with Ap¬ 
plications to Ill-Posed Pfoblcms , ，r SIAM J - . A^ul. iO T 257 — 267. 

{} W. Stewart(1984). "'Paiik !>generat：y, ” SiAM j . Sci • and Stat . Comp 5，403 —413 」 
I\ C, Hanstfn( 19^7). “The Truncated SVD as ^ Mel hod for R^ularL^tionj "ii/T 27 ,524 - - 
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553. 

G . W ( i 987), “ C'olliiwarity and Squares Regrtsssion ," Statistical Science 

2,68—100. 

在 § 12 .】W §2 我们就这个卞题还要做更多讨论. 

§5.6 加权和迭代改进 

在第三章中关于方线性方程组引进 f 加权和迭代改进的概 
念，现在，将把这些技巧推广到最小二乘问题. 

5.6.1 列加权 

假定 G GK™ x n 是非奇异的 . LS 问题 , 

min || Ax — b II 2 ^ A ^ R , b K m (5.6. l ) 
的解可以通过先求 

min |1 { AG )^ - 6 || 2 (5.6.2) 

的最小 2 范数 > Ii 3 ，然 后令々 = 而得到.如果 rankU ) 二 
那么和=^^.否则，句是(5.6.1)的最小£：范数解，其中0范数 
定义为 ! UIU = llc -^ jl 2 . 

G 的选取是重要的.有时它的选择可基于对4的不确定因素 
的先验估计.另一些时候，可取 

G = Go ^ diag ( l/JJ A (:， l ) || 2 ,…， l/|j A (:， 11 2 ) 

来使 A 的列规范化 . Van der SUxis ( 1969 ) 证明了对此选取， 
« 2 (4 G ) 近似 极小. 由于 y U s 的计算精度依赖于取 C = 
G 0 是有道理的. 

我们发现加权会改变奇异值.因而当确定数值秩的方法用于 
4和40时可能不会给出同样的估计. 

5.6.2 行加权 

设 D = diag(ff j ,…， D 是非奇异的，考虑加权最小―乘问 


题： 
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min II D ( A ^ - h ) ：\ 2 , A e ib e ， . (5.6.3) 
假定 mnk ( A ) = « 且叩 是 (5.6.3) 的解.可 i 止 (5. 6」 ） 的解 j ： ls 满 
足 

- = (^ 4 T 0 2 A)" (/> 2 - l){b - Ajci^). 

(5.6.4) 

这发明 LS 问题的行加权会改变解（令重耍例外菇&云1^(4)， 
此时 1 ZJ 二 -^ Ls ) * 

确定/>的一种方法是令 A 是〜 的不确定性的某种歎度，例 
如的标准偏差的倒数.这样，.当&较大时 A ^) 
倾于变小对 q 的精确影响 d 阐明如 F . 定义 

Did) = diagtt/i ，‘ .- ，<—卜心 V 1 f 3 ， … ， d m ) 

其中茂 >-1 .如果 xU ) 极小化 II D ( d )( Ax ~ b ) || 2 且 Q (幻是 
HU ) 的第1个分暈，则可证： 

… ) = Ta。) 

这个显式表达式说明 qU ) 是 S 的单调递减函数.当然，当所有的 
权都变化时^如何变化要比这复杂的多. 

例 5.6.1 假定 



如果 D 二 1 4 ,则 ^ D -[-l,0.85j T ^ r = At d -[0.3, —0.4, 

-0.1,0.2] T . 另一方面，如果 0; 出邶（ 1000,1 ， 1 ， 1 )，则我们有 
〜 [-1.43,1-21 ] 7 和 r = b- Ax d = [0.000428, -0.571428, 
- 0.142853,0. 285714 ] T . 

5.6.3 广义最小二乘 

在许多预估问题中，观测向量6与 _ r 之关系为 
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b — Ax + vl ' , (5.6.6) 

其中噪声向量 w 的均值为零，而且其方差•协方差矩阵 W 对称 
正定.假定巳知 W 且对某 K 有作二 BJJT . B 可能是给出 
的也可能是 VT 的 Cholesky 三角阵.为 r 使 (5 A .6) 中的毎 -个方 
程对于确定的 I 起同等作用，统计学家们常常要解 LS 问题 

min |j B ~ l ( Ax - b ) II 2 - (5.6.7) 

对此问题的一个显然的计算方式是先形成 iA 和6二 

B V ，然后用我们已介绍过的仟何方法极小化 || A^-b || 2 .小幸 
的是，当 B 是病态的时，这种方式得到的 . r 非常差， 

? 3 说6(197%，197%)提出一个稳定得多的求解（5,6. 7) 的方 
法.它利用正交分解，基十 (5. &7)号以下广义最小二乘问题 

min zf T v (5.6.8) 

fj ^ Ar-l-I ^ 1 

的等价性.注意到即使 A 和 B 都是秩亏损的 ，（5.6.8) 也是有定义 
的.虽然 Paige 的方法对此情况可以应用，但我们描述它时仍假定 
这两个矩阵都是满秩的. 

第一步是计算 A 的 QR 分解 

Q t A = [: 1 ] Q = [Qi Q 2 ]. 

^ n m—n 

然后，确定正交阵 z or v 〜使得 

QjBZ = [0 S 1 Z -[ Z : Z 3 ], 

n m — n n ni — n 

其中 S 是 h 三角阵.利用这些正交阵可把 (5, 6.8) 中的约束条件 
化成 


Ql^ 

_ [«ll 1 \QlBZ, QlBZ 2 l 

Zjv 

Qlb. 

—L 0 J I L 0 S J 

Zjv_ 


此方程的“下半部”可以解出 I 

Su = Qjb , v = Z2U t (5.6.9) 

而它的“匕半部”确定了 .T: 

R ^= Qjb - (QjBZxZj + QiBZ 2 Z])v 
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二 Q\h - QjBZ 2 u . (5.6.10) 

这个方法吸引人之处 是所行 潜在的病态都集屮在二角形方程组 
(5.6.9) 和 （5.6.10) .此外 ， Paige (1979 b ) 证明了上述的方法是数 
值稳定性的，这是任何显式地形成 B 的方法所不具有的 ■ 


5.6,4 迭代改进 


Bj 6 rck ( 1967, 1968) 分析了改善 LS 近似解的技术.它基于如 
下思想 ：如果 



■ J ■ 

■ 0 ■ 


(5.6.11) 


则 II 办 -Ar || 2 = min ■这是因为从 r ^ Ajc = b 和 AV =0 可推出 
A T Ar = . 如果 rank ( A ) 二心我们 F 面就假设如此，则上面的 


增广方程组是非奇异的. 

把 LS 问题化为方的线性方程组后，可应用迭代改进格式 
(3.5.5). 

r (0) -0; x (0) -0 

for 二 0 丄 … 




.u+1) 
'U + l) 


.(k) 

Ak) 


，⑴ 

M) 


end 

必须用较高的精度来计算余量和 g U) , 为此要保留原始的 

A . 

如果冇了 A 的 QR 分解，则很容易获得增广方程组的解.贝 
休地说，如 A = GK 和则形如 
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的方程组变换为 


h 

0 

Ri 



f ' 

0 

[an 

0 

h 


h 

-Rj 

0 

0 _ 



-K- 


其中 


Q T f = 


f \ I n 
./2」m t n 


Q T P 


因此，通过解三角形方程组 Rjh 二 g 和并令户= 


就可得到 p 和 t 假定 g 是以因子形式存储，那么每一次 
迭代需要 ^mn — 2n 2 个 flop. 

使迭代成功的关键在于同时修正 LS 余量和解，而不仅仅是 
解本身 ,Bj6rckU968) 证明，如果 r(A ) 〜妒且用 P 进位 f 位有限 
位数字运算，那么只要用双精度计算余量，则1⑴约有 A U-<7) 位 
准确数字.注意这个直观分析中出现的是 《 2 (A)fft] 不是 k 2 ( A ) 2 . 

习 题 


5.6.1 征明公式 (5.6.4). 

Si . 2设 AG 乂 是满 秩的对 - i 定义对角矩阵 

△二 diag (!,■">!,(1 + 3) ，1 ，■■■」) T 

、 iXi ~ 一 ' ~ 7/-t 

用 xU ) 来表示 minll A ( A ^- i ) |j 2 的 LS 解，用 r (幻=办 - Ar (幻来表示其 
余童. 


A(A T A)^ 1 A l ~e t eJ 


⑴证明叫卜 VAuun 、 

a ) 令 & U ) 表示 的第々 个元素，证明 



r 血⑻二 


Q ⑼ _ 

i + &] A ( A T A )-' A T P * 


( c ) 利用 （ b ) 去证明公式 (5,6.5). 
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5.6.3 在公式 (5.6. 幻 中、 A 和是秩亏损时.考虑如何用 SVD 法求 
解广义 LS 问题 

5.6.4 设的秩为 n ，对 F - 定义 
,,卜 U 1 

Af(ft) -- ! ■ 

LA 1 O 」 

证明 

s 一 (MU)) - min j - y +^/ 〜 (A” 彳 .（+ ) 卜 

并确定使 K 2 ( M ( 0 )) 取最小值的 

5.6*5 另- 种 LS 问题的迭代改 进方法如卜： 

= (J 

k>r k - 0, 1 ,■" 

r U) - b - Ar U ) (双精度） 

II A: ⑴ -r ⑴ |. z = 誦 

^ hl = x U) 4 

e-nd 

( a ) 假设已有 A 的 QR 分解，每次迭代需多少 flop ? 

( b ) 证明在 5.6.4 节屮给出的迭代改善方案中，令 g u) = 0, 则得到上面 
的算法. 


本节注释与参考文献 

LS 问题的行加权和列加权在 Uwwn 和 Han^n(SLS, 第180〜188页）屮有 时论. 
对加权的各种效 果之讨 论见： 

A vm dc.r Sluis ( J 969 ). 11 Q>ndilion Numbers and KquiJibraiican of Matrices, ' 1 Nuttier. 

14,14—23. 

t； r W. Sttwarl( 1948b) - ^Oti ihe Asymptotic lichavic^r of Sidled Singular Value find QR 
oompositiuns, ' MaM - 1 Wp. 43 ,483 — 49U, 

广义 LS 问題 的理论和计算的性质出自 T : 

S. Kourouklis and C. C- Paifte( l^SI ). **A C km strained Least Squares Ajjpnjach tc the Gener¬ 
al Gauss-Markov Linear Model, ’’J ■ Amer, Slat , Assoc. 76 ,t20 ~625- 
C. C- P^tgc( iy79a). 11 C omputer Soluiiuii and Perturbation Analysis of Gcncr.Jizod Least 
Squares Problemi. ' Math Omip . 33,171 — 1K4. 

C.C. Paige( 197%). “Fasi Ntimcrit'ally Stable Compulaliorii. for Generalised I -inesr Least 
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Squares Problems ” SIAM / 」 Nw"! 」 Anal , /6 1 165 — 171 
C.C. PaJge( 1*585). ，+ TKe (General Limil Model and the (ienerahzetl Singular Value Decom- 
[>_it>iticjriT" • Afg. and h Appiu - 7() , 26^ — "284 - 

最小.乘的这代改 进见： 

G H Golub flnd J. H. Wilkinson(1966). ^Norc on kcrative Refmomcni of Least Square So- 
lunoTi^," Nun Maih .9 A 39—148 

A Bjorck and G. H. Golub(1967)Iterative Kefinemenl o( Lint^r Lea_st Squirts SoUAions 
by Householder TransfomisitiLin T h HIT 7 — 337, 

A hy I ^k( 1967}. s 'Il.trtitive Refinemrnt of Lintiar LeaM Squares Solutions l，”BIT 7 ,257 — 
278. 

A Iijorck( 1968), “Iterative Refmetncnr of Linear Least Squares Soiutions H, TP J3/T 8 ,8 — 
30. 

A lijorck ( ] 987). “Slabilily A^ly^is of the Method of S^ninormal Equations for Lineat 
Least Squares Problems，" Limur Alg. and Its Appiu 88 /S9 T 3\ — 4H, 

§5.7 正方形方程组和欠定方程组 

本草的正交化方法可用于 iK 方形方程组，也可用于方程个数 
比未知数少的方程组.在这简短的节中我们讨论几种可能的情 
况- 


5.7.1 用 QR 分解和 SVD 求解正方形方程组 

基丁1 QR 分解和 SVI ) 的最小二乘法，可用来求解止方形方程 
组： 只需令 w = 可是，从 flop 数来看，高斯消去法是解正方形 
方程组的最经济的方法.这从下表即可得知，在此我们假定在分 
解时右端项是已 知的： 


方法 

flop 数 

髙斯消去法 

2 n 3 /3 

Householder it 交化 

4 n 2 /3 

修正 Gram-Schmidt 

2^ 

双对角化_ 

8 n^/3 

奇异值分解 

12 n 3 
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尽管如此,有二个玮由说明为什么仍然要考虑正交化 方法： 

•仅考虑工作量夸大了高斯消去法的优点.当考虑内存通信和 
向量化的开销， QR 分解法的效率毫不逊色. 

_正交化法能保证稳定性，不必像高斯消去法那样担心“增长因 
子” ■ 

• 对子病态问題，正交化方法更加可靠.带条件数估计的 QK 方 
法是值得依赖的.当然，在求近似奇异方程组的有意义的解 
方面， SVD 方法是无与伦比的. 

我们并不是在表示强烈偏爱正交化方法，而只是在说它们和高斯 
消去法各具特色. 

我们还要指出，衣 5. 7,1中 SVI 〕 对应的值是假定在因了分 
解时就有6.否则，有必要累积 C ； 矩阵，丁作量则为 20 n 3 个 flop . 

如果用 QR 分解法解 Ax = 6，则通常耑要进行向后消去： Ifr 
= 0 T 6 .然而，可逋过对 A 进行预处理避免此步骤.假定 H 是一个 
Householder 矩阵使得 H6 = /^， 其中‘是 h 的最后一列.如果我 
们计算 （UA) T 的 QK 分解，则 A = H T R T Q T , 方程组化为 
R T y 二 &， 

其中 y = ■因为 K T 是下二角阵 j =(/?/&>„ ，故 
x ^ 戸 Q (:， w ). 

^nn 


5.7.2 欠定方程组 


当时，我们称线性方程组 

A.r = b , A e ' m > t n m (5,7. 1) 

是欠定的.注意这样的方程 m 要么尤解要么就有尤穷多个解.当有 
无穷多解时，重要的是区分算法是否找到最小2范数解.我们给出 
的第一个算法找得就不一定足最小2范数解 T 假定4是行满秩 
的，应用选主列的 QR 方法得到 

Q t AJT = [Ri R 2 ] 
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其中 = 是上三角阵，只 2 0:、“("1).于是 = 6 化为 

(a T AiT)(ir T ^) = [^1 R 2][ z j}= Q T h 

其中 


JJ T x = 

Lz 2 」 

且.由于选主列，而且我们假定4是行满秩 
的，所以 i ?, 是非奇异的.于是 ，令 z ] ^ R ,~ 1 Q r b 和 z 2 =0 就得到 
问题的一个解. 

算法 5.7.1 给定 rank (>4); w ，本算法 

寻找 ： r 乏 R H 使得 Ar = 6 . 

Q t AII = R (选主列的 QR 分解） 

解 ^( l ： w , l : m )^ i - 0 t 6, 

令 -^^ o ) - 

此算法需要 2 m 2 n - m 3 /3 个 flop . 不能保证是极小范数解（一个 
不同的 JT 会得到一个更小的 q ). 但是，如果我们计算 QR 分解 

a- = qr = q[ R 0 1 }, 

其中 1? 1 €^" 1>< " 1 ，贝1】 Ax = b 

(QR) t x = [Rj 0 ][^]= b. 

其中 


Q T x = 1^1 ， e 7-' 

L ^2 J 

现在 ，令 = 0 就得到了极小范数解. 

算法 5.7,2 给定4 6 x \ mnk ( A ) 二州， A & U ， 本算法 
寻找 Ajc = 6 的极小2范数解. 

A t =QR (QK 分解） 
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解 R ( 1 ： ^ ? 1 ： ^ ) T ^ - b 
jc = Q{ ： ,\i?/})z^ 

丰算法最多需要 2m 1 n - 2/w'V3 个 flop. 

SVD 也可用来计算欠定 Ar 二 A N 题的极小范数解，如果 

A 二 <7^^ , r — rank f A ) 

■ 一 1 

是 A 的竒异值展汗式，则 



咭最小 二乘问题一样，当4是几乎秩亏损时， SVD 方法足令人满 
意的. 

5.7.3 扰动的欠定方程组 

我们以满秩欠定 方程组 的扰动结果来站屯木节. 

定理 5.7.1 假定 rankCA) = " ; <«， A ^ M G 

^ f,y \o^bek 满足 

e 二 maxU/i ! < 〜（ A) , 

其中 €a = II (i4 I! 2^ II A 1 2 > = II 8b II 2^ ll b II 2 .如果 I 和王是 

满足 


Ax = h , (A -t & 4 ) ,r = b + Sb 

的最小范数解，则 

^ f\ x ^2 2 ^ min|2，w - m + \ \ 十 e*) + OU 2 ). 

证明 令 £； 和 / 定义为和劭 / e . 注意对所有 0 </<e 
有 rank ( A + rE ) = m ,而目_ 

x(t) ^ (A + tE) T ((A + tE)(A + ^) T ) _1 (^ + tf) 

满足 （A + £ E )_ r (，）= 6 + f /. 将此表达式对 f 求微分，并在所得结 
果中令 f =0吋得 

j (0 ) 二 U — A T (AA T y i A)E 1 (AA T y 1 b + A t (AA t ) l (f - Rr). 
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由于 

llx|| 2 = II A t (AA t ) bll 2 > 〜 (A) II (aa t )-^|| 2 , 

II I - A 1 (AA T ) _] A II 2 = niin( 1 ， w — m ), 

和 

11/112 r II/H 2 H All ， 

^ ^IU II 2 ’ 

我们冇 


II ,r - jt \\ 7 II J ：( e ) - j :(0) SI 2 
llxl| 2 = ^II ,-CO) II 2 


il ±(0) II 2 

_ n 


+ OC^ 2 ) 


^ emin(1 ^~ w ) IHi ! + ' ut 2 + { frJ ^ U) + °( e2) ’ 


由此知定理成立， □ 

注意，与超定方程组的情形+ —样，这里没有 k 2 { A ? 因子. 


习 题 - 

5.7.1 试推出上式中；的表达式. 

5.7.2 寻找如二 b 的最小范数解，其中4 -[1,2,3], 6 = 1. 

5.7.3 说明用 QR 分解解欠定方程组时如何能避免求解三角形方程 

组. 

5.7.4 假设 b , xe \^ 给定，考虑下而问题； 

( a ) 寻找一个非对称 Toeplh 矩阵 T 使得 l : r=k 

( b ) 寻找一个对称 ^beplitz 矩阵 T 使得 Tt- hi 

( c ) 寻找一个循环阵 C 使得 Cr =心 

将每个问题写成 = 6 的形式，其屮 A 是由: r 的元素组成的矩阵， 户为需 
要求的元素所组成的向 ft . 


本节注释与参考文献 

有关奇异方程组的一典有趣的现象见： 

T, F.Chan(1984). u Deflated DecompoaiTion Sulutiuns of Nearly Singular Systems/' SIAM 
J. Nuw ,AnaL21 y 738—754 ， 

G, H. Golub and C.D. Meyer( I98&). “Using lhe QR FactoriKalion and Group Inversion to 
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tCompute, Differenli^l.y s an<.l esriirat^ the Sensitivity of SlaLioMty Probabilities lor Markov 
("hAin.s/ P SIAM j , Alg. ami Dis. , 7,273 — 28 J, 

关于欠定方程组的文章 包括： 

R.E r Cline and R, j. PWiimoritK 1^76 ). “ _^l ut i ons 10 UndcndctcnnirnKl Linear Syi- 

tf!ms,SL4M Fte^nv 18 ,92 — 106. 

M. Arioli and A, Laratta( 1^85) r u Error ANalysis of au Algorithm for Solving an Undcrde- 
termined System, r， Numer r Math - 46 >255 — 268 ^ 

j. W.Dcmmcl and N. j, Higham( 1993). Improved Ertor Rounds fox Underdetcmnincd Sys¬ 
tem Solvers, Matri.r Anal. Appl. 14, 1—H 
QR 分解当然吋用于求解线性方程组，见： 

N, J, Higham ( 1991 ). ^ iterative Refinement Enhances the Stability of QR Rictorization 

Methods for Solving Linear T 447 — 468, 
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第六章并行矩阵计算 

§6.1 基本概念 

§6.2 矩阵乘法 

§6.3 矩阵分解 

并行矩阵计算现已成为研究的热点.尽管大部分的工作是与 
机器/系统相关的，还是涌现了许多基本的技巧.本章之目的就是 
介绍这些技巧，同时利用矩阵计算的设计来描绘用“并行”去考虑 
问题是怎样一个图画. 

我们将考虑分布式和共享内存的系统.在 §6. 1中，利用矩 
阵-向量乘法来引出节点程序的槪念，同时讨论了均衡负载，加速 
比和同步问題. §6.2 中矩阵-矩阵乘法显示了矩阵分块运算的效 
果并给出了二维数据流动的思想。 §6.3 给出了 Cholesky 分解的 
两个并行实现. 


预备知识 

假定已读过第一章及 §4. t , §4.2. 本 章各竹 间的依赖顺序 
如下： 

§6.1 — §6. 2 — §6.3 

补充参考文献包括专著 Schdnauer ( 1987 } t Hockney 和 JessKope 
(1988) , Modi ( 1988), Ortega (1988) t Dongarra , Duff , Sorensen 和 
van der Vorst (1991 ),Golub 和 Ortega (1993) 及其综述性文章 
Heller (1978), Ortega 和 Voight (1985)， GalLian , Plemmons 和 
Sameh ( 1990) , Dernmel , Heath ， 和 Vander Vorst (1993). 
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§6.1 基本概念 
在本 W 我们以 ga ^ py 运算： 

z = y^r A^' , A G : K ’ f ， J , y ， z G (6.1.1) 

为例来介绍分布式和共享内存的系统.实际上这两种类型的并行 
计算之界限是模糊的，而且我们的各种讨沦之融合常常叮适用于 
任何具体机器. 


6.1.1 分布式内存系统 


在拥有分布式内存的多处理机中，每个处理器都有本地内存 
并能够执行其节点程序.节点程序4以改变所执行的处理器的本 
地内存，还能够以消息的形式向网络上其他处埋器传送数据.处理 
器间的互联定义了网络拓扑， 个 简单例子是环，用它做八门介绍 
是足够的.见图 6 . 1 . 1 . 


L[_H 器 (1)1 —闽 理器 (2)|—_理器(3)|—1社_麵_^}^ 

图 6. 】.〖 FI 处埋器的环 

K 他一些重要的 互联结 构包括网结构，环由结构（与二维数组 
密切对应），超立 力体 （hypercube) 结构（普遍性和 M 优忭），树形结 
构（适合于分而治之算法）.关于各种情形的讨论请参阅 （Jrtega* 
▽以0(1985).我们的直接目标是为（6, 1. 〗）建立一个基于环的算 
法，基于环面的矩阵乘法将在§ 6,2中 U 论. 

每个处理器都有一个标识号，第//个处理器 k! 力如 
果 ProcU ) 和 Prod>) 之间有一物理线路直接相连，则称二者相 
邻.因此，在有/>个处理器的环中， Proc ( /> ) 与 Proc (/>〜1 ) 和 
Proc(l) 相邻. 

设计有效的分布式内存算法的重要因素包括： （1) 处理 
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器数和本地内存容暈， （2) 处理器间互联 力式， （3) 计算速 
度与处理器间通信速度的比例关系， （4) 节点能否冏时计算和 
通信. 


6.1.2 通信 

用一个简单 的表 〆 来描述发收消息： 

send( jmatrixi t i 接收处 理器的 序号 i ) 
recv( I matrixi , i 发送处理器的序号！） 

数量和标量都可看作矩阵，因此都可作为消息.在此模型中，如 
?似( /£ )执行指令％11<1(\^，2)，于是本地矩阵 V lct 的一个副本被 
发送到 ProcU )， Proc ( 以 的宵点 程序被迅速恢复执行.处理器发 
送消息给自己也是允许 的了利 用下标 loc 来强调一个矩阵是被存 
储在本地内存中. 

如果 Procb ) 执行指令 recv ( ， A ) ，那么节点程序 W 停，直 

到收到 Ptoc ( A ) 发来的消息为止 .一旦 收到，消息存于本地矩阵 
中， Proc (") 恢复节点程序运行- 

尽管这种发送/接收表示法足够我们使用，但其中还是隐盖掉 
了许多重要 细节： 

• 装配消息开铕 在实际中，由于一个矩阵的元素有可能在 
发送者的内存中不是连续存储的，这会导致多的耗费.我们 
忽略其细节. 

• 标记消息开销 消息不一定按发送的顺序到达.为使接收 

者不产生沉乱，就需对每个消息加一个标记.我们假定消息总 
是按发送的顺序到达而忽略这方面的细节. 

* 消息解释开销 在实际中，一个消息是一组位流，必须提 

供一个信头来告诉接收者矩阵的维数和表示矩阵元素的浮点 
字的格式.将消息转变为矩阵需要时间，但我们没有去量化 
此开销. 

这些简化使我们把精力集中于上层的算法思想.但应记住任何一 
个具体实现的成功是与对这些隐含开销的控制分不开的. 


■ 321 ■ 



6.1.3 几种分布式数据结构 

在我们给出第一个基于分布式内存算法之前，必须考虑数据 
分配问题.如何将参加分配的矩阵和向童在网络上合理分配？ 

假定要将的数据分配到含有^个处理器的网络上的 
各个本地内存.设/>满足 条件 ； z = #， 解决此问题的两种“标准” 
方法分别是按行存储和按列存储. 


在按列存储方法中，将向量 I 看作 r Xf 矩阵 

x rXp ~ [: r ( l : r ) . r(r + 1 :2 r ) j：(l + (/?- l ) r ： M )], 

将每一列分配至一个处理器中，即 x(l + (p _ 

Pbdc (").( 在这里6表示“存储于”）.可以看出每个处理器拥有 : r 
的一段连续数据. 


在按行存储方法中，将向量: r 看作 f X r 矩阵 

JTpXr = [ ： 1 ： ( 1 : /?) 工 (/? 如 1:2户> … 工 ((/* — 1>户+1:?2)]， 

将每-‘行分配至一个处理器中，即：按行存 
储有时被称做分配向量的轮流方法.因为: c 中的元素可被看作是 
一副扑克牌轮流发给每个处理器. 


如果《不是/>的整数倍，则稍做改动后上述方案依然可行. 
考虑72 = 14 4 = 4的按列存储 方法： 

■r r= [ j：i Jl 2 ^4 1 ^5 X 7 I ^" 9 工 1U 工 1 】 1^12 工 13 -^141 ■ 

、 h3<0 ' ' hw(2J ' ' ~SSo )^ 、 feS：4> 

一般地，如 《 = + 且 <7 </>，则 Proc ( 1 ) ，…， Proc ( g ) 储存 

a ■十 1 个元素 , Proc (q + 1), Proc (/ j ) 储存 r 个元素.在按行存储 


方法中，则只需令 Proc (/0 包含兀素 xifaptn ). 

类似的选择同样适用于矩阵的数据分配.如 a "且为 


简便起见令/1 =印，则有四种分配的可 能性: 


方向 

方式 

Proc(//> 中元索 

列 

连续 

A (:， l + (/f_l)r:"r 〉 

列 

轮流 

A (: ，戸 ：/>: w) 

行 

连续 

(fjt-Drtfjr,：) 

行 

轮流 

Aifiipin 
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分块矩阵也有类似的处理方案.例如，如果 A 二 L ，…， A N ] 是按 
列分块的，可令 Proc ( v ) 来存储 A ， 其中 i = 

6.1.4 环上的 g^xpy 运算 

现在为 gaxpy 运算 z = y + Ax ( A ^ il ri x w n a ： G ) 给出 
一个环上的算法.为清晰起见，假定 《 = 印，其中 P 为环中处理器 
数.对 gaxpy 运算做如下划分： 


^1 


>1 n 

+ 

… 


工 t 

,(6.1.2) 

^p- 


yp- 


… 

^pp- 




其中 A ^ iT 〜且 , 假定计算之前 Ptoc (户）中已存 

储有％，外和八的第"个行块.我们要求在计算结束时用％覆 
盖 心 .从 Pi « c ( p ) 的角度，运算 



涉及到本地数据 ( Ap ，3 V ，％) 和非本地数据 （ U 卢为能得 
到1的非本地部分，令它的子向量在环中循环.以户= 3为例，按 
如下所示对 JCi , J ：2^3 作循环： 


步 

Pnx ： ⑴ 

Froc (2) | 

Proc (3) 

1 

^3 


工 2 

2 

工 2 

工3 


3 


^2 

^3 


每当 O ： 的一个子向量到访时，宿主处理器必须以合适的形式对其 
进行运算以产生新的和： 


步 

Proc ( l ) 

Froc (2) 

Prac (3) 

1 

:V] =：Vi +A 13 x 3 

y2 = yi + 

: y 3 = ^ 3 + A 32^ 2 

2 

yi = 3^i + ^12^2 

y2^ y2 +A 2S^3 

^3 - ^3 + ^31^ l 

3 

>1 = 3/1 + A ll^l 

y2 = yi^ ^ 22^2 

_y 3 = 力 + ^33^ 3 





概括地说， X 的子向■走马灯似地流动，共经过/>站.处理器每接 
收到一个 r 的于向镇，便进行-次 r X r 的 gaxpy 运算. 

算法 6.1.1 假设 A 6 ? x Ji , j : L / z = j 十 JU :, 如果 

含 p 个处理器的环中的每个处理器执行如下的节点程序，且有《 
= r /) ， 那么结束后; 2：(1 + (户_ l ) r :/; r ) 存于 Proc (//) 的：变量 
中-假定本地内存有如下初始化：户 ， "（节点序号 ） ， ] eft 和 right 
(左邻和右邻的序号 ）， row = 1 + ( 户 - 1 ) r ： fjtr , A\ iX — 
A (row ， ：） ， xioc = 了 （ row ) ， 3 /^, = y ( row ) . 
fw t = i：p 

send ( j ： I … right) 
recvCx^ ,lcft) 
t = pt - t 
if r < 0 

T = T + p 

end 

{jc 1oc - j:( 1 + (r - l)r ： r r) I 
Hloe + 八 |^.( :，1 + ( r -\)r：r r)x\ UL . 

end 

下标 r 指明了当前所用的: r 的子向量.这步汁算 旦完成 ，就应 
对 j 存储于本地的部分进行修正. send-recv 函数对将当前存館的 
^的子向量发送到右邻并且等待从左邻接收下 组值 .因为只有 
在新的的子向量到达后才能开始对本地^做修正，这样便获得 
同步.不可能出现仟•处理器超前于其他处理器运算，也不町能 
有 x 的某子向量在走马灯流程中超过另一个子向量.本算法专为 
环拓扑设计，通信仅涉及相邻的两个处理器.此运算有完美的负 
载均衡，这意味着每个处理器有完全相同的计算量和通信量，非均 
衡负载将在 6.1.7 节屮迸一步讨论. 

并行程序的 设计涉 及到许多单处理器程序设计中碰不到的微 
妙的细节问题.例如，我们不小心颠倒 send 和 kcv 过程的次序，这 
样每个处理器的节点程序执行的开始都在等待其左邻发送一个消 
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息.而这个左邻也在等待它的左邻发送消息，便产生死锁. 

6.1.5 通信成本 

如果对发送和接收消息的开销模型化，就可对通估负担做出 
估计.为此假定涉及个浮点数的 send 和 recv 过程需要 

v ( m )- a d + (6. 1 .3) 

秒的执行时间.这里以是 send 和 recv 过程初始化所需的时间，沁 
是消息传送速率的倒数.要指出的是此模型并没冇考虑发送者和 
与接收者之间的距离.显然，将一个消息在环上传送半圈要比仅在 
相邻处理器间传送耗时要多.这就是为什么总要希望设计（只要可 
能）在相邻处理器间逋信的分布式计算， 

在算法 6.1.1 中的每一步都发送和接收一个 r 维向量且执 
行了 2 r 2 次浮点运算.如果每秒进行 K 次浮点运算 li recv 过程中 
不存在等待时间，那么每次更新的完成需大约 （2 rVj ?) + 
2 ( a d + 沟 r ) 秒. 

另一个指标是计算-通信比.对于算法 6. 1 . 1可描述成 

计算时间_ (2r 2 /R) 

通信时间〜2(〜+ /3/广 

这个比例量化了通信开销和计算开销间的比例关系. M 然 ， r = 
«//>增大时，计算用时比也增加 ®. 

6.1.6 效率和加速比 

一个^个处理器的并行算法的效率由下式 给出： 

F= T(l) 

pT(p) 

其中 TU ) 是在々 个处理器 h 执行此程序所需的时间.如计算的 
速度是每秒 flop , 通信模型由 （6.1,3) 所给出，则对算法 6. 1.1 
的丁 U ) 的合理估计为 


①我们指出，这些筒单度贵对能同时计箅和通信的节点没意义. 
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T(k) = ^2{n/k ) 2 /R + 2(a d + 

t = i 

=告 + 2aji + 2^jn ^ 

其中 Jfe > l . 我们假定没有等待时间.如果 A = 1，即无需通信，则 
T ( l ) = 2 n 2 //?, 可以看出效率 

E 1 +竽 ( 4 ⑴ 

随？ * 增大而提高， 随户或 1?增大而降低.在实际应用中，只有用标 
准检测程序才是评估效率的惟一可靠方法. 

与效率相关的一个概念是加速比.如果 
SsTW 

则称解决一个特定问题的并行算法获得加速比 S ， 其中 Tpji 执 
行一个并行程序所需的时间，是单个处理器运行最有玫的单 
处理程序时所需的时间.对某些问題，最快速的串行算法不是并行 
的.因此，加速比的评估涉及两种截然不同的箅法. 


6.1.7 均衡负載问题 

如将算法 6.1.1 应用于下三角阵4 由于 <6.1.2) 中 

的 Ay 有一半为零，則与的更新相关的近一半浮点运算将没有 
必要进行了.确切地说，在第#个处理器上，满足 r :> 户的 
: ,1 + ( 1 ： - l ) r : rr ) 为零.因此,如保证的更新按下示方法 
进行，那么总的浮点运算次数将 减半. 
if 

^bc = ^bc + Ai«( : 4 + (r - l)r: rrjxioc 


end 

这样做解决了多余的运算问題但产生了不均衡负载问題.在 
Proc ( ju ) 上进行大约次浮点运算，它是关于处理器序号户 
的增函数.考成下面 r = /. = 3 的例子： 




怎 l 


a 

0 

0 

1 

0 

0 

0 

J 

0 

0 

0" 


^2 


a 

a 

0 

1 

0 

0 

0 

1 

0 

0 

0 
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a 

a 

1 

o 

0 

o 

1 

o 

o 
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卢 

卢 

I 


0 

0 

1 

0 

0 

0 


^5 

= 




1 

/3 

/? 

0 

1 

0 

0 

0 


£6 



这 


1 

§ 

i 

i 
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0 

0 

0 


«7 


y 

y 

y 

I 

y 

7 

y 

1 

y 

0 

0 


之 8 


y 

y 

y 

1 

7 

7 

y 

1 

y 

y 

0 


£9_ 


_ y 

7 

y 

1 

r 

7 

7 

f 

y 

y 

y _ 



工 2 

£3 


£6 

x 7 

^8 


yi 

yi 

ys 

r 

y 4 

ys 

y§ 

yi 

3^8 

3^9 


这里 Proc(l> 处理 a 部分， Pioc(2) 处理月部分， Proc(3) 处理 r 部 
分. 


然而，如果处理器 1,2 和 3 分别计算 
和（9,4,4)，就会导致近似的均衡 负载： 




a 

0 

0 

i 

0 

0 

0 

1 

0 

0 

0 


工 i 



之 4 


卢 



1 

/? 

0 

0 

1 

0 

0 

0 


^2 


JV4 

£7 


1 

1 

1 

1 

y 

1 

1 

1 

1 

0 

0 


£3 


yj 

怎 2 
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a 

0 

1 

0 

0 

0 

1 

0 

0 

0 


x 4 


yi 

z 5 

— 

/? 

/? 

/3 

1 

戸 

卢 

0 

1 

0 

0 

0 


JC 5 

+ 

y$ 

^8 


1 

1 

1 

1 

r 

1 

1 

1 

1 

i 

0 




y% 

无 3 


a 

a 

a 

1 

0 

0 

0 

i 

0 

0 

0 


^7 


y% 

怎 6 


这 

/? 


1 


/? 

沒 

1 

0 

0 

0 


工 8 



_£9^ 


j 

y 

y 

1 

y 

7 

7 

1 

y 

y 

7 _ 






运算置虽仍随#增大而增大，但在 n 》 p 时不明显. 

设计一般的算法需要一些对下标的搡作.假定在 Pro ^ p ) 賦 
初值彳|« = W ，：） 和 y \^ = 并假定连续的 ： r 

子向量如前述一样循环.如在某步包含 x(l + ( r - l ) r ； rr ), 
則 


的实施为 


^ bc = ^loc + Abc (： »l + ( f - l ) r ： rrjxioc 
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^ y ( ju ： p ： n ) + A (^： p：n A 
+ (r- \)r ： rr)jr(\ + ( r - 1) r ； rr ). . 

泠在 3^ 的计算中 利用三 角结构，我们用双重循环形式表示 gaxpy 
运算： 


for a = l : r 

For J3 - 1 : r 

= yiM + 八山，卜 ( r - Dr )^^) 

end 


end 

4^ 代表 A ("+ ( a ~\) p y ^ + ( r _ l ) r )， 它当列下标大于行下 
标时为零，基于这种思想，我们缩短内循环的范圃，得到 

算法6 • 1 . 2假设 A 6 x ' : r ， y " 和之 ： jy + Ar , 设 《 

二 rp 且厶为 下三角毕■如果含 p 个处理器的环中的每个处理器 
执行如下的节点程序，那么结束时沁《 ) 存于 Proc (户）的 
》 ioc 变 量中. 假定本地内存有如下初 始值: "(节点序号）， left 和 
right (左邻和右邻标识号）， w ， A lac - A (/^：/ i ； n , : ) y\ iX — yipti p : 

n ) 和 ■rk = j ： ( 1 + (# - 1 ) r : 卢 厂 ）. 
r = n/p 
ior t = \：p 
send (: r ^ ， right) 
recv(j ： ioL .Jcft) 

t - fl ~ t 

if ^ r < 0 
r - r + p 

end 

^ ^loc = 1 + ( r — 1) r ： r r )[ 

for a = 1 ： r 

for ^ — U" + (a ~ l)p - ( r - 1) r 

yhc (^) = y \ t Ja ) + A ^ Co ,/? + ( r - Dr )^^^ ) 
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end 

end 

end 

下标值不得不在 P 点空间和全局空间：者之间来回改变是分布式 
矩阵计算中需要小心谨慎也是(希望）能得到编译程序支持的一个 
方面. 


6.1.8 平衡协调问题 ( Tradeoffs ) 

类似于§ 1.1, 我们给出…个面向列的 gaxpy 运算并预测它 
的性能.对 A 作列 分块： 

A - [A 【 ， … ， A ， ] ， A, & E" Xr , r - n/p ， 
gaxpy 运算 z - v + Ax 变成 



戶二 1 

其中 JT ；i - J：(l + (/A - l ): v ). 假定 Proc (;/ ) 中存储了 心和 h .它 
为整个 gaxpy 的贡献是提供了积 A & 而且只涉及本地数据.然 
面，还需对这些值做累加.让 Proc ( l ) 来承担累加的工作，假定它 
已存储 y . 因此算法的思想是每个处理器都计算 A〆 户 然后将结果 
送至 Proc ( l ). 

算法 6.1.3 假设:和之 =：y +如，如果 
含 p 个处理器的环中的每个处理器执行如下的节点程序，且 n = 
rp ， 则结束后， z 存于 Pixx :( l ) 中.假定本地内存有如下初 始值： 
P ， //( 节点序号）， n j:(I + (// - 1 )r ：^ r ) , A ^- Ai ： , 1 + 
("- l)r :" r )， 和（仅在 1 \ 00 ( 1 )) 3 ^ =父 
if // = 1 

m + A Inc 工 ior 

for ； = 2 ： /> 
recvf , t ) 

ybc = yi < x + ^ioc 

end 
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else 


(Wloc ^ AlocJ：^ 

send (如 |^ ， 1) 


初看起来此算法与面向行的算法 6 . 1 . 1 相比似乎缺少吸引力. 
Proc(l> 的额外工作意味着它需承担原来的 
2 n 2 /p + np __ 1 , p 1 
2 n 2 /p 2 n 

倍的工作置，并且处理原来的 P 倍的消息.这种不均衡在 n»p 
和通信 参数％ 和沁足够小时显得无足轻重.另一个可能优势在 
于算法 6 . 1.3 对长度《的向童进行运算而箅法 6 . 1.1 对长度/户 
的向童进行运算.在节点允许的条件下，加长向童会提髙性能. 
算法 6 . 1. 1 和算法 6 . 1.3 这一作简单比较再次提醒我们同样 


的计算采用不同的实现方法能有很不同运算特性. 


6.1*9 共車内 存系统 

接下来讨论基于共享内存的多处理机上的 gaxpy 问题.在此 
环境中每个处理器去访问公共的全局内存，如图6 J . 2所示.通过 
不断读写位于余局内存的全局变童来实现处理器间的通信.每个 
处理器拥有自己的本地内存并执行本地程序,在执行过程中，数据 
不断流入流出全局内存. 


处理器 （1) 

处理器 U ) | 

处理器 （3) 

处理器 （4) 




一一 〆 


全局内存 


m ^ uz 四处理器共享内存系统 

共享内存计算中所考虑的所有问題都以不同的形式摆在我们 
面前.整个程序应该是均衡负栽的，对计算过程的安排应使任一独 
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立的处理器等待它计算所用数据时间尽可能少.全局内存和本地 
内存之间的数据交换必须认真处理，因为数据交换在整个系统开 
销中占相当比重.（它类似于分布式系统中的处理器间通信和如 
4,5中所述的不同级的存储之间数据的流动）.处理器与共享内存 
之间的物理连接的方式非常重要，它影响到箅法设计.然而，为简 
化问題》我们将系统看作如图 6.1.2 所示的黑盒子. 


6.1.10 共車内存的 Gaxpy 算法 


考虑将 X «的 gaxpy 问题做如下划分 


V 

- 

yi 

+ 

Ar 

- Z P - 




-V 


(6.1.4) 


在此假定《 =印且 . 我们用以下算法来介 
绍基本思想和记号. 


算法 6.L4 假设 x, 3/6,存储于全局内存中 
且能被户个处理器访问.如果 /i = r 户，每一个处理器执行如下的 
节点程序，那么得到结果为： y 被 : e = y +Ax 覆盖.假定每个本地 
内存有如下初始值:户，〆节点序 号）， w- 


r — n/p 

mw — 1 + (^t - 1 )r : jur 


X | oc = JT 

: ybc=:v(ro w ) 
for j = 1 ：« 

£11^ = A(row,>) 


end 

j/(iow) = ^| 0C 

假定在每个处理器中都有一份这个程序.属于本地的浮点变董带 
有 w loc ” 下标. 

在算法 6.1.4 的执行中，数据不断流人流出全局内存.在循环 
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前有两次读全局内存操作（: I 和 i V k = y ( fOW ))， 循环中有一 
次读操作卜1^= A ( row ， j )), 循环后杳 次 M 操作 （ 3 ,( r3w ) = 

夕 W ). 

对于 j 在仝 局内存 中的某 ■部分 ，只有一个处理器对其进行 
写操作，闶此不必对参加计算的处理器进行同步.在整个 gaxpy 运 
算过程中，每个处理器都有完全独立的工作，闵此不必监视其他 
处理器的工作情况.因为对工作的分配是在执行前已决定好的，这 
种计算称为静态调度. 

如果4足下二角阵，则在算法 6. 1.4 中要釆取措施以 保证负 
载均衡 . IT _ 如 6. K 7节中所讨论，轮流分配是-种有效办法.将 
z ( fi ： p ： n ) = y ( ftp n ) V A { ^ • pin ,：)t 分配给 Proc (") 就将 
« 2 次浮点运算在 f 个处理器间有效的分配. 


6.1.11 内存间数据通讯开销 

重要的是要认识到整个算法的表现很强地依赖于对仝 M 内存 
的读写开销.如果一次数据传送中 w 个浮点数，则传送时间之模 
m 为 


t ( m ) - a , + I 3 s m . (6.1.5) 

参数 A 代表通倍过程幻动开销，成足传送速度的倒数.在分布式 
环境中我们是用相同的方式建立处理器间的通信模型（见 
(6.1.3)). 

数一下算法 6.1.4 中共享内存的所有读写，我们发现每个处 
理器在与全局内存通信时花费的时间为 

我们组织计算的方式是使每次从共享内存中渎取 A ( mw ， ： ） 
的一列.如果本地内存足够大，算法 6. 1.4 中的循环可改写为 
A 1(X = A ( mw ? : ) 

3 ^ 1 «： ~ yu>c + 

这使通信开销变为 
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7'-3 a ,+》 2 A ， 

当启动时间~很人时，是显著的改进. 


6.1.12 障碍同步 

下面考虑曲 向列的 gaxpy 运算（算法 6. 1.4) 的共 享 内存形 
式.假定 w = 和 col = l + (" _ 1) r :// r . -个分 理的想法是用一 
个全局数组呢来存放每个处理器产生的积 
A (..， colU ( cd ), 然耵选定一个处理器（如 ProcU )) 来做累加. 

,col) ;^| OL = .r(cnl);aj kj(： = A [<Jc j W (： tf /) = co^_ 

if 户 =1 


3 , loc = ^ 
for j = 1 ： jt? 

C - 

ybc: ^1 ™： + 出 w 

end 

y = yicc 


end 

然而，这个方案有一个严重缺陷，它不能保证 Proc ( l ) 在做累加前 
W{\：n ,1: p ) 已被賦值- 

我们需要的是有一种同步机制将 Proc ( I ) 的累加运算延迟至 
所有的处理器都计算完各自的结果并存储到价数组之后才开 
始.为此，许多共享内存系统都支持一种阻塞机制 barrier ， 它在下 
列算法中引人. 

算法 6.1.5 假设 AeP x % xjG 7存储于全局内存中且 
能被夕个处理器访问.如果 n 二 rp 、 每一个处理器执行如下的节 
点程序，那么得到结果为 v + At 覆盖.假定本地内存有如下 
初始值： P , 户（节点序号）， 

r — n / p ; ajl = I f ool ) = x ( col ) 
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W (：,/^) = W| oc 

barrier 

if 尸 =1 

yioc= y 

for j — l：p 

OJlac; W( ： J) 

ybc- : yioc + WJr 

end 

: V = 3 Moc 

end 

为理解 barrier , 可将一台处理器看作或是截住的或是自由的.当执 
行 barrier 语句中，处理器被截住，程序被暂停.当个处理器都被 
截住时，所有处理器都返回到自由状态并恢复执行程序.可将 bar ¬ 
rier 想像为个处理器想横渡一条急流. 为了安全，他们在跨越 
前都到岸边集合.当最后一个抵达后，他们一起涉过急流，然后分 
别继续各自的旅行. 

在算法 6.1.5 中，处理器算完矩阵乘向董的积后被截住.我们 
并不能预见处理器被截住的顺序.但一旦最后一个处理器也被截 
住，他们全被解放， PrncU 〉 就能开始执行累加运算. 

6.1.13 动态调度 


如不采取选定某一个处理器来做累加的方法，我们可以让每 
个处理器将其计算结果直接加到全局变董中.对 Pirx ^/ O 来说，这 
意味着要执行如下指令： 

r = n / p;coi — \ + {fi - l ) r ：^ ir ; = A (:， 

^^loc - A loc-^loc» 

^Ioc= ybc = ^l «： + Wlc^r ； y^ykK 

这样 ，一 个问题包含读-更新-写三 部曲： 

y\Dc = : vioc = ：yioc + 如 joc; 

事实上，如果不只一个处理器同时执行这个程序段,則可能会造成 
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信息丢失.考虑如下执行顺序 
Proc ( l ) 读 ; y 
Proc ⑵读 :V 
Pnoc ( l ) 写 ： y 
Proc ⑵写夕 

由于1 ) 和 Proc (2) 对同一个 y 进行操作， Prcc ( 1 ) 计算的结杲 
没有起到应起的作用.由于 Proc (2) 的写操作使得 Proc ( l ) 的写操 
作无效. 

为防止这种情况发生，大多数共享内存机器支持临界区 （ crit ¬ 
ical section ) 的概念.临界区是节点程序中特殊的孤立段，它需要 
有“钥匙”才能进人.在整个机器中，由于只有一把钥匙，因此在任 
一特定的时刻，只有一个处理器能执行临界区程序. 

算法 6.1.6 假设存储于全局内存中且 
能被 p 个处理器访问.如果《 = 每个处理器执行如下的节点 

程序，那么在结束时， y 被 y + Ar 覆盖.假定本地内存有如下初 
始值： P， 户 （节点序号）， n . 

r = n/piod= 1 十 (/i A^ — Ai : ,oo0 — j ： (ool) 

山 be _ A kic^loc t 

begin critical section 

y 

y\oc-y\oc + ^ioc 

end critical section 

临界区的概念的引人保证了 y 能眵正确地被更新.由于此算法中 
累加的顺序是在计算进行过程中决定因此被称为动态调度.在 
解决非规则问题时动态调度是非常重要的. 

习 m 

6.1.1 修改算法 6.1.1 使其能处理任意的》值. 

6.1.2 修改算法 6. 1,2 使其能有效娃理上三角阵. 
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6.1.3 (a) 修改算法 6.1,3 和 AJ .4 他得对每 台 处理机，给定正数 

川，可以用 z = y+ A itJ .r 来 覆盖乂 （ h) 修改锌法 6 ■ ] .3 和 6. 1+4 用 z 二 j + 
A 1 .r 费盖 .v. 

6,1.4 修改算法 6 」 +3 侦箅法执行完后焱 + 0[ 的第 " 块存储 i Proc 
(V) 的本地数组 Ah 中 . 

6.1.5 修 改算法 6. 〖 .4 使得 (3)7\ 被外积更新 A + 乃 1 所棰盖 . （ b ) 用 
A\r 铕盖掉被 v— 方向上的 2 范数向兄覆盖 」 d) 当 A 为下二角 
阵时，泫算法能有效地执行 1 
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[Di ，… = + [ Ai ， …，…， 

( 6 . 2 . 2 ) 


其中每个列块的宽度为 r = rt / U />). 如果 


r〜i 


Bj = 


0 

^ 0 


B (> € M rXr , 


则 

D } = Cj + ABj = C ； + 它 A# … （ 6.2.3) 

T= L 1 

计算 Dy 所需的 flop 数为 

" fj = 2 nr 2 j = C ^ p )> - 

因是上三角阵, /； 是关于 i 的增函数.正如我们在前一节所发 
现的，由三角阵结构带来的负载不均衡问題可由轮流分配法来解 
决.这意味着分配给 PitxK / O 的任务是计算满足） = p : P : 吵的 

算法 m 假设益，办，(：是《><«矩阵，存储于全局内存乍 
且能被户个处理器访 问如果 》是上三角矩阵且《 = 4户，每个 
处理器执行如下的节点程序，那么结束后 c 被1> = € + AB 覆美 ■ 
假定本地内存有如下初始值^走，户， 户 （节点序号）. 


tor j=^：ptkp 

1 计算如 ‘ 

十 （ j - l ) njr ) 

Ck ^ C (: ,1+ 。- IV : 扣） 

for r-ltj 

ool=l + (r - l ) r：r r 
A (:， coO 
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C jy,. - C[ (X ，- f A (t.til ， ：） 

end 

CX : , 1 \- (j - l) r ： jr) ^ C kv 

end 

我们用一个关于参数 A 的函数来评估负载的均衡度 iProef ^) 所 
耑的 flo P 数为 

F(") = S/-. f (j-i)p ^ (kfi -t —^-) - 

从 flup 数来看，商 F ( p )/ F ( l ) 是装载平衡的-个挝度.由 

K^.) _ kji_±_kl^a . 1 2(^-i) 

HI) _ k -^k 2 p/2 二 1 + 2^kp~ 

可以看 出随々增大 i 卜算均衡度增加.做类似的分析可看出通倍开 
销也随々增加而趋于平衡. 

另一方面，算法 6.2 ■丨中对仝局内存的读写次数随6的平方 
增大而增加■如 （6.1.5) 中疤动参数〜很大，那么性能随&增加而 
降低. 

由于这两种相矛盾的影响， A 的最佳选择是与机器相关的 
如果通信加快了，则可把任务分得很小而不带来困难，因而就容 
易获得装载平衡，具有这种性质的多处理机鼓励用单位被分得很 
小的并行算法.然而，如果在只有高性能节点的系统中单位划分过 
小，则节点程序就会因没有足够的本地线性代数而不能用二级或 
-三级运算，再次强调，标准检测程序是用来评估的惟一方式. 

H 2 基于环面存储结构 ( Torus ) 的运算 

环商 （ Torus ) 是行和列都为环的二维处理器阵列，参见 
围 6.2. 1.在这黾处理器序号是一个有序对，且每个处理器有四个 
邻居■在如下示例中， Proc ( l ,3 )的西邻是 Pmc ( l ,2)， 东邻是 
Proc ( l ，4)， 南邻是 Proc (2,3)， 北邻是 Proc (4,3). 

为说明如何组织环面结构 t 的矩阵计算，我们 设汁一 个算法 
米计算矩阵乘法 D = C + ，其中".假设环面结 
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图 6.2.1 的环面 

构是 Pi X 〜的， II 有”二少 L ■将 A = (\)， B = ( ) , C = 

( C y ) 看作是含有 p ^ Pl 个块，每块大小为的分块阵.假设 
Pkx : (心)储存了勾, B y ， C y ，它的任务是用 

Dij 二 C,) + L ^d0kj 

来覆盖 C 1；; . 我们从九 =3 的情形来导出一般算法.将环面存储结 
构以蜂窝状形式表示 如下： 





















我们集中注意力于 Pmc ( l ， l ) 以及计算： 

Du = On + AnB u + A| 2 B2i + A 13 B ： h- 
假定用于确定分块点积的六个输人量在环面结构的存储位置如 
下： 


An B11 

. 

* 

. b 21 

■ 


- - 


(表格中的点不必理会，它们在后面被 A iy 和所代替）. 

我们让 A 的第一行块和 B 的第一列块都经过 Proc ( Ul ) 依次 
轮转-这样 A U * B U ， 益^和5 21 ， A i 3 和 B 31 ， 将成对相遇、相乘， 
然后与相加， 


Cioc = Ctoc + A 12^21 


C|oc- ^loc + A13B31 


Cy x = 0 ^ + AilBu 


做完上述三步后， Pruc ( ia ) 的本地数组中就有了 Du . 

在环面存储结构中我们安排的数据流动是，向西流动， B u 
向北流动.显然 Pnx ( M ) 应执行如下节点 程序： 
for / = 1:3 

send ( Afccwest ) 
sendCB ^ c , north ) 


A 12 ®21 

A 13 ■ 

An . 

* ^31 

i * * 

■ * 

. B n 

1——： 

. . 


A13 B n 

An * 

^ t 2 - 

* ®Ll 

* * 

* , 

• b 21 

* , 

■ *■ 


An Bn 

a 12 , 

A l3 • 

. B Z i 


- 

* . 

* B 3 l 



■ * 
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recvtA ^ jeast ) 
recv( Bia；, south) 

Cjjjc _ Clmj + A ]qc-^ ioc 


eiHl 

下述的 send-recv-send-recv 的顺序： 
for f = 1 ：3 

send (A ioc ， west) 
recvMj ^ east ) 
send (Bjpc, north) 
recvtB^, south) 

C\oc = Cjo,. + AiocBioc 


也是可行的.但是由于 JJ 的子块必须等到新的4的子块到达后才 
能发送，这就带来了不必要的延迟. 

下面讨论 Pk ) c (1，2)， Ptdc (1，3)， Pk ) c (2,1)* Pioc (3，1 )WX 
作.仅就目前的情形，这些处理器的作用只是帮着轮转 A „, Al 2, 
A 13 和.如果在这些步中 B 32 , Bu ， B 22 的数据流过 
P ^ c ( l ,2)， 则可算出 D 12 ： 

^12 = Clj+ A 13 B 32 + AnBi2 + -A 12^22- 
同样，在 f = 1:多时，如 Proc ( l ，3) 中有 B 13 , B 23 , JJ 33 的话，则可算 
出 U l3 = Ci 3 + + + A i 3 B 33 .综上所述，设环面存储 

结构的置初值 如下： 


蠤 11 B n 

An B n 

a 13 

. 忍 21 

• Byi 

Bl3 

■ b 31 

* B 12 

-^23 


将 B l ；? 做向北流动，得到 


^12 ^21 

A13 月 32 

溢 11 B t3 

， 好 31 

■ B n 

* B23 

- B n 

* B22 

.^33 


* 从 3 • 




B 



因此，如罘把 B 按交错的顺序预先分配到环面存储结构中，就可 
用第一行的处理器来计算 C 的第一行块. 

如果用类似的方法将 A 的第二行和第二行也作交错放置，则 
每一步4使九个处理器都进行乘-加运算.确切地说，如果让 


^ ] I Bn 

A|2 

B 2 2 


A 22 B 2l 

1 

A 23 

B iZ 

^2i 尨 n 

^33 B.^1 

a 31 


A V- B 23 


则将、向丙流动且&向北流动就得到 


a 12 B 2 1 



^11 

Bl3 

An By 


B i2 

A 。 

B 2 2 


焱 32 

B 2 2 

4 
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»31 : 


孖 12 = 

： 

b 2 . 


Bn 

^22 

^22 

^23 


A 32 

B 2 i 


JJu 

A:u 

B|3 


a ii 

Bn 

^ 12 

b 22 

Ai, 


■4 22 

B 21 

A 2 , 

B , 2 

^2\ 

JJ l3 

七 3 

Bn 

^31 

Bu 


B 23 


从这个例子我们引出般的算法.假设初始时存储 
于 Pn>c(/ W ) 中 . 为了获得数据 4 的交错安置，可看出第』行处 
理器中的 4„ 需向西移动， -1 个位置 . 同样，第 j 列处理器中的 
需向北移动 j-1 个位置 1 算法如下： 

算法 6.2.2 假设 A 6 : '/ fX \ n " n ,Ce 给定，且 

满足 Z > = C + AB . 如果 />, x Pl 环面机器的每个处理器执行如下 
的节点程序且有《二 r / M ， 则结東后 Ptoc (/^) 的本地内存 C lcc 中 
储存假定本地内存有如下初 始值： 九， （ p，A )( 节点序号）， 
norlh ， east * south 和 west ( 四邻的序号 ）， row = 1 + (" _ l ) r :" r ， 
001=1 十 (A - 1 ) r ： Ar f = A ( row , col ), B ^ = ii (row , coi ) 和 
C | oc = C ( row , co !), 

I 交错、和 
for 走 = 1:" - 1 

send(Aio,,,west )； recvfA^^ast) 


for ^ = 1 ： A ~ 1 


send (Aioc， north); recv( Ah ， south) 


end 
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for ^ = 1 ：/>] 

Cjoc = Cloc 十 A locB]^ 
send (A la，, west) 
send (B joc ， north) 
recv(A 1(]C ,easi) 
recvtBj^, south) / 
end 

I 、和 1 归位 t 
for Jt = 1 ： ^ - 1 

sendtAioc ， east ); recv ( west ) 

end 

for 是 =1 : 入 -1 

send(B |^， south); recv( B ^ , north) 

end 

不难看出，随着 n / p x 的增加，本算法的计算-通信比趋近于零. 

习題 

6.2.1 设计在环形并行机上的算法 6.2.1. 

6.2.2 — 个上三角阵可被其平方覆盖而不需额外有存储空间，写一个 
动态的基于共享内存的算法 1 
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§6.3 矩阵分解 


本节中我们给出两个并行 Cholesky 分解 算法为 展示基于分 
布式内存的分解运算是什么样的，我们给出一个基于环结构的 
gaxpy Cholesky 算法.同时详细给出了外积形式的 Cholesky 方法 
之共享内存实现. 

6.3,1 基子环的 Cholesky 分解 

下面让我们看看如何将 Cholesky 分解分布到个处理器的 
环上.出发点是关系式 

G(ju ， 户 ) G(/d")= A ( 户 : 《，户 ）-^ G{f± ) 

尸 1 

= v(fi in). 

这个等式是通过取《阶方程 a = gg t 的第户列得到的一旦得 
到向童，则 G ( ju : n , ") 可通过简单数乘 
G{pt :« ,//) = V 
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来得到.为简明起见 ，假定 n 二户 ， A 已存于 Proc (") 中. 

执行的结果，每个处理器用 G 的列取覆盖4相应的列.对 
Proc (") 来说，此算法需进行 " _ 1次形如 

A (": 7?, " ) — A{pL ：n ^ i ) - G{fi y j ) G ( ft：n , j ) 

的 saxpy 运算，然后是…次求平 j / 根和一次数乘运算.于是， 
Proc(p ) 的节点程序的大概流稈 如下： 
for j = 1 ： /j - 1 

从左邻接收一个 G 列 1 

如必要，将接收到的 G 列的副本发送给右邻 
更新 A ( /i : n f fi ) 


end 

生成 G { fj.：n , ft ), 如必要，发送给右邻 
这样， Procd ) 可以立即计算出 G n . [) = A ( i ： n . \ )/ 
/ aTTTT ) 并发送至 Prx (2). Prx :(2) 一茂接 受到此列值，它就产 
卞 G (2 m ,2) 并发迖至 Proc (2) .依此类推，按这种流水线设计， 
一个处理器一旦完成其 C 列的计算，它就中止.另外每个处理 
器是按 G ( l : 〜 1)， G (2:«，2)， …的升序来接收 G 列的.基于这 
些结论，有 

i = l 

while >< 

似 1( 尺 locU : rt) ， left) 
if fi < n 

send ( : n ), right ) 

end 


end 

△hef = K 户： 
if /,(< n 
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send ( ： n )， right ) 



end 

注意，接收的 G 列的数目为_； -1. 当 j 二 f , 时，则由 Prod>) 来产 
牛并发送 G ^ . 

现在将上述方案扩充至 w 个处理器的情形.有两个明显的方 
式来分配计算 .- 1种方法是让每个处理器计算-段连续 存储的 
C 列.例如，如果” = 11， 户 ：3,八=(^，… w u ] ，则可将 A 分配 
如下： 


a 2 ^3 a^\a5 aja^\a^ a 10 a u ] 

~i^(i) ~~t^2) ~' 

每个处理器然后可去汁算相应的 C 列.此方法的缺陷是，以 
Proc ( l ) 为例，当 G 的笫4列值计算出后，诙处理器就怠机，而此 
时却仍有人量工作末完成. 

如用轮流分配方式來分配计算，则可获得较理想的负载平衡， 
即 

[^1 a 4 a l «io < a 2 a 5 a H a u I a 3 a 6 a 9 \. 

... ^p^<3) 

在这种方案下 IrocG )货责汁算 G ( ,^,： p ： n ). 当一个处理器计 
算完它的 C 列后，其他处理器最多只冇一个 （； 列未被计算.这样 
当 n / p >>\ 时，所有处理器几乎总是忙的. 

现在仔细分析一下轮流分配的分布式 Choluky 算法.每个处 
理器都需要两个计数器.计数器 j 是下一个要接收的 
G 列的下标号，同时处理器还应知道下一个要计算的 G 列的下标 
号.注意，如001 =":户：”，则 Pmcb ) 要负责计算出 G (:, col )， 且 
L = length ( ool ) 是其需要计算的 G 列的数目.用 g 来记录求出 
G 列的状态，任何时刻 T 是下一个要计算的 G 列的下标， 

算法 hi 假设 Ae ..， Xn s 对称正定矩阵，且 a = gg t 是 
其 Cholesky 分解,如果含 p 个节点的环并行批中的每个处理器执 
行如下的节点程序，则结束时 ， Pmc ^ ) 将满足办二"：户：的 
存储在本地数组 ( 1: n , L ) 中，其中 L - 
length ( col) r col = ；« :户 恃别地，满足 q ^ l：L 的 G ( cd (<7):«， 
col ( g )) 存储在 col (</):«,?) 中.假定本地内存有如下初始 
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值: />，节点序号）， left 和 right (左邻和右邻的序号），》和 



j = hq = ll ccA — ： p ：n ; L = length ( ool ) 

while 

if j =ool(y) 

I 影成 G(jinj)\ 

AjocG: « ,q) = A\ ac (j in t q)/-/ Adj ， g) 
ifj<n 

sendCA^tjjn 1 9 ) . right ) 



I 修正本地的列向量 .I 


for k = q + \iL 
r = col ( J &) 

AjoctriTi A^(r ： w,A) - A b: (r ， 5)A| 0C (r ； j| ,g) 


9 = ^ + 1 
else 

Pecv (^| 0 C ( j : w )* left ) 

计算 a , 产生所接收 G 列的处理器之序号. 

计算)8, Proc ( right ) 的最终列的下标. 
if right A j < ^5 
sendt^-O ： w),right) 

end 

i 修正本地的列向 I 
for ^ ^ ： L 

r = col ( jfe ) 

A\ oc (r ： n 7 k)^A ioc (r ： n t k) ~ g^iryg^inn) 
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end 


为说明指针系统的逻辑关系，我们考虑一个3处理器且/! = 10的 
例子.假定3个本地的 9 值分别为3,2和2,则相应的 col ( l? ) 值为 
7,5和 6. 

[fl I £i4 ^7 (f-lo \ a Z a 5 a s an 1 ^3 <36 ag ] 

Pidc (2> 生成第 5 个 G 列并将 g 值增加为 3. 

需要解释何时将接受到的 G 列发送到其右邻，它需满足两 
个条件： 

• 右邻不能是产生此 G 列的处理器.这样保证了所接收的 G 
列的循环可在合适时停止. 

• 右邻必领还有需要计算的 G 列.否則 G 列就会送给一个已 
伴止运行的处理器. 

这些推理在分布式矩阵计算中是很典型的. 

现在考査当时算法 6.3.1 的性质.不难看出 Proc (^) 
执行的 flo P 数为 

F ( ju ) = - (jn + (k - + ( 是一 1)/0 

每个处理器正好要对每个 G 列做接收和发送操作.利用 （6.3. 1) 
确定的通信开销模型，每个处理器用于通信的开销为 

n 

- ^ 2 ( a d + - j )) ^ 2 ajn + 

如果假设计箅速 ^ 为每抄 J ? 个 flop ， 則算法 6. 3.1 的计算-通信 
比约为 U / p ) U /3 i %>. 因此，通信开销 随”今 的增大而显得越 
来越无关紧要. 


6.3.2 共車内存式的 Cholesky 分解 

接下来考虑在共享内存环境下实现外积形式的 Cholesky 算 


* 351 - 




法.外积瑕式的 ChoU ^ sky 算法力： 

for k = U rt 

A{k\n ,k) ~ A{k i u y k)/ A{k f k) 
for j = k ^ \-,n 

A(; ： « ,j ) = A(^ ： « ,j) - A (j ：?i ,k)A(j ,k) 

end 


end 

j 循坏是-个外积运算.组成循环主体的 ti - k 次运算是独立的. 
闶而舄于并行化.对 AU :«,0 的数乘 n J 由某个处理器来完成匕 
不会破坏均衡负载- 

算法 6.3,2 假设 A ”是对称正定矩阵，存储于全局内 
存中能被户个处理器访问.如果每个处理器执行如下的节点程 
序，则结束时 A 的下三角部分被其 Cholesky 因子後盖，假定本地 
内存有如下初始值：《,/>，"（节点序号）. 
for ^ ^ 1 : w 
if // = I 

: n ) : Aik -.n ,k) 

■o Vx {k 7 "be ⑴ 

A{k ： n,k) = n ) 

end 

barrier 

Vi^ik + 1: h) = A(k ^Un,k) 
for j ~ {k ^ /t)xp:n 

: n} = A(j in J) 

w loc (j in)- utixij m) ~ v Vjc (j ) x^iocCj ： «) 

A(j ：/i ,j) = ⑴ locG : 打 ) 


end 

barrier 


end 

j 循环之前的数乘运算和外积运算相比工作量很小，因此可分配 
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给单个处理器来完成.注意到算法需要两条 bamer 语句.第一句 
保证了在 Proc(U 产生 G 的第灸 列之后別的处理器才能进行第々 
次外积运算.第二句保证第6步的所冇工作都完成后才能开始第 
々+ 1步的运算. 


习 题 

6.3 .J 试将算法 6. 3.丨写成 个 分块形假定《 = rV ， 对于办二 
有 U ) Proo ( l ) 生成 G {: A + ( k ~ l ) r :々 r )，（ b ) 让所有的处理机参与主 
子阵 AUr f 1:„,虹+〗^)的秩广更新，参见4.2.6节.如毎个处理机偏好 
3级运算，则分块可以改善性能. 

6.3.2 改写算法 6.3.2 为共享内存的⑶分解算法 . Prcc ( l ) 应生成 
Hmsehold^r 向量，所有处理机都应能共享最近更新的 Householder 阵. 
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第七章非对称特征值问题 

§7,1 性质弓分解 
§7.2 扰动理论 
务 7. 3 幂迭代法 

答 7.4 Hessenberg 分解和实 Schur 型 
务 7. 5 实用 QR 算法 
§7.6 不变子空间计算 
§7.7 Ax^XBj: 的 QZ 方法 

讨论完线性方程组和最小二乘法后，我们把注意力转移到矩 
阵计算 的第三个大问 题:代 数特征值问题.本章讨论非对称矩阵的 
特征俏问题， K 章讨沦较 姑的对 称矩阵情形. 

我们首先给出特征值和不变空间的基本性质，以及 Schur 
分解和 Jordan 分解.这两种分解性能对比放在 §7. 2 中讨论，在那 
里，我们要考察特征值和不变子空间是如何受扰动影响的.该节还 
将对条件数加以研究，以便对舍人过程中产生的误差进朽估计 - 
本章的上要算法就是著名的 QR 算法，它是本 B 中最复杂的 
算法，共占用了二节的篇幅.作为简单的幂法的 Q 然推广，我们在 
§7.3 中导出基本的 QK 迭代.随后的两节着重在计算上实现这 
种基本迭代.本章还包括 Hes^nberg 分解的介绍 （§ 7. 4 ) 及原点 
位移的概念 （§7.5). 

QR 算法计算实矩阵的 Schur 型，一种显示特征值而非特征向 
量的标准型.因而，如杲想 r 解不变 r 空 间的估 息，还得需要额外 
的 if 算. “t 十算了实矩阵的 Schur 型后怎么 办？” 可做为 §7.6 的副 
标题.在此节我们将讨论各种不变子空间的计算，这些计算可接着 
QR 算法进行. 
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在最后一节，我们讨论广义特征值问题 Ar = ARr 以及为解 
决此问题而设计的 QR 算法变型，称之为 QZ 算法.这种算法强调 
了正交矩阵在特征问题（本章的中心议题）中的重要性. 

此时，评价一下复运算和实运算是适当的.在本书中，我们集 
中精力提出解决实矩阵问题的实算法，尽管一个实的非对称矩阵 
可能有复的特征值也不例外.然而，实用的实 QR 算法的推导及特 
征问题本身的数学分析，在复数域中进行是很方便的.因而，读者 
会发现我们在 §7.1, §7.2, §7.3 中已换用复数记号了.在这几 
节里，我们运用 QR 分解，奇异值分解及 CS 分解的复数形式. 

预备知识 

在读本章前，务必熟悉章和 §5. 1~ §5.2 的内苕.在这 
章里有以下的依赖 关系： 

§7.7. 2— §7.3 — §7. 4— §7.5—§7. 6— §7.7 
补充参考书有： Fox { 1964 ) , Wilkinson ( 1965 ) ， Gourlay 和 Watson 
(1973)* Stewart (1973), Hager (1988), Ciarlet (1989), Stewart 和 
Sun ( 1990), Watkins (1991), Saad ( 1992 ) ， Jennings 和 McKeowen 
(1992)， Datta (1995)， Trefethen * Ba〆 1997) ，和 De _ el ( 19%). 
与本章有关的一些重要的 Matlab 函 数有： eig , poiy , poiyeig ， hess , 
qz ， rsf 2 csf ， cdf 2 rdf，schur 及 balance . 与 LAPACK 相关的有： 


LAP ACK: 非对称特征值问题 


_UEliAL 

乎衡变换 

_ GETJAK 

取消 T 衡变换 

_GEHRD 

Hesscnberg 归约 l/ H AV= H 

_ORMHR 

1/( 分解型）乘矩阵（实增） 

_ORGHR 

产牛 1/( 实型） 

_UNMHR 

1/( 分解型）乘以矩阵（复型） 

_UNGHR 

产生 m 复型） 

_HSEQR 

Hcssmbcrg 阵的 Schur 分解 

_ HSEIN 

用逆迭代法求 Heasenberg 恃征向量 
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续表 


I JKVACK :非对称特征值问题 


_GEES 

一般矩阵的 Schur 分解特征值按序排列 

_GEESX 

lid h, 但给出条件数佔计 

_GP:EV 

一般矩阵的特征值和左心_特扯向量 

_ GEKVX 

但给出条件数佔汁 

_TREVC 

卜_拟=对角矩阵的选定特征向龟 

_ 1'RSNA 

上拟 =. 对角 m 阵的选定彳 ht 值的条作数佔计 

— TRKXC 

Schar 分解的 H 革排列 

_ TRSEN ! 

冏上 f m 给出条 fi 数估计 

_ 7 R 5 YL , 

求解 M + 利 B 为 h 拟 — :对角阵 


LAPACK 对称的广义特征问题 

_GGBAI, 

平衡变換 

_G€HRD 

化归为 Hcsscnber^ =对角型 

_HGEQZ 

广义 Schur 分解 

_ TGEVt ： 

特扯叫量 

_GGBAK 

取消乎衡变换 


§7^1性质与分解 

在这 * 节里，我们给出必要的数学基础知识，以便导出和分析 
后面的求特征值的算法. 

7.1.1 特征值和不变子空间 ^ 

矩阵4 G C ” x n 的特征值是其特征多项式户 U ) = det ( Zl - A ) 
的” 个根.这些根的集合称为谱，记为 A ( A ). 如果； 1( A ) = Uj , 
…山丨，则有 

det( A) = . 

而且，如果我们定义4的追 迹为： 

tr(A) = a n » 

i - 1 
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则 lr ( A ) = Ai <-•■• + A n ，这个结论可以通过观察特征多项式中 
/ 1 前的系数得出. 

如果 A 6 A ( A ), 那么满足 

A.x = A.t 

的非零向量 .rec/ 称为特征向量，更精 确地说 ，对于 A 满足 At = 
A . r 的非零向量: r 称为右特征向量，满足 . r H A = A : r n 的称为左特 
征向量.除非待别声明，“特征向暈”指“右特征向量”. 

一个特征向量定义了一个一维子空间，这个子空间用矩阵 A 
左乘保持+变性.更一般地，一个 f 空间 SSC " 若有以下性质 
i 6 s -> aj ： e S , 

则称为不变的（相对 A ). 注意到，如果 

AX = XB,B 6 C kxk ,X ^ C" Xjb , 

那么 ran ( X ) 是不变的，且办= Ay^>A ( 心） = A (办）.这样，如果 
X 是列满秩，那么 = 隐含有; UB ) SA ( A ). 如果 X 是方阵 
且非奇异，那么 AU ) = A ( B ) 且我们称 A 和 B = 相似.在 

此意义下, X 称为 个相似 变换. 

7.1.2 解藕 

许多特征值求解过程，就是把一个给定的问题分解为若 T 小 
的特征问题来逐 解决 .下面结论是这些简化的基础. 

引理 7.1.1 如果 TGC nX ” 的分划如下 

T= ^ 0 rjg 

P Q 

那么 A ( r ) = A ( r n ) UA ( r 22). 

证明设 


Toe =' 


0 


Tu 

t 12 ^ 


L J，2 



这里 JC ^ C P 且:如果 A 关 0, 那么： r 22 ： J ： 2 = / Lr 2 ，故知 
ACT ^) ■如果 x 2 = 0、 那么 Tun = 这样 AGA ( T U ). 由此可 
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知 AUOCZAaVUAd ^), 佴由于两个集合； Ur ) 和 A ( T „) U 
a ( t 22 ) 有相同的基数，所以它们是相等的. □ 


7.1.3 基本酉相似分解 


利用相似变换，可以将一个给定矩阵简化为几种标准型的任 
一个.这些标准型因其显示特征值的方式及其提供的不变子空间 
信息形式而异. 

由于其数值稳定性，我们先讨论能用酉相似变换做的归约. 
引理 7.1.2 如果 且 满足 

AX XB, rank(^) = p, (7.1.1) 

那么存在一个酉阵使得 

Q H AQ^T^[ Tl1 ^! 2 ] p (7.1.2) 

L u ink - P 

P n~ p 

这里； Uru ^ MWfUU ). 

证明 设 

x = q [^], Qe c nX u c fiyfi 

是 X 的一个 QR 分解.将之代人 (7.1. 1) 并整理得 

HHb ， 

Lt 21 r 22 」 Lo 」 Lo 」 

这里 

Tn T12 1 p 

T 2 i T22、 - P 
p n — p 

利用 & 的非奇异性以及方程7^1 = 0和我们可 
以推出 1 21 =0和乂（丫 11 ) = >1(幻.由引理7丄1 A ( A ) = A ( T ) = 
ACi ^ LUO ^)， 结论得证. □ 
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例 7.1.1 如果 

_ 67.00 177.60 - 63,20" 

A = - 20.40 95.88 - 87.16 ， 

- 22.80 67.84 12.12J , 

X^[20, -9, - 12] T 且 3 = [25 」，那么 AX = XB, 而且，如果正交 
阵 0 定义为 



"- 0.800 

0.360 

0.4S0' 

Q = 

0.360 

0.928 

- 0.096 


- 0.480 

-0-096 

0.872- 

那么 Q t X= [ -25,0,(J] t 且 





"25 - 90 

5" 

q t aq = T = 

0 147 

-104 



- 0 146 

3- 


由此易知 A(A) = 125,75 + 100i ,75 -100i}. 

引理 7.1.2 是说如果我们知道某个矩阵的不变子空间，则可 
应用正交相似变换将该阵约化为分块二角阵形式.利用归纳法我 
们口 J 容易地建立 Schur 分解定理 （ 1909). 

定理 7 U ( Schur 分解）如果，那么存在一个酉 
阵 G6CT Xfl ，使得 

Q h AQ = T = D H N, (7.1,3) 

这里0 =出堪(义 1 ，.*，，又《),\6 3" >< "是严格上三角阵.并且，可以 
选取 G 使得特征值 i 沿对角线按任一给定的次序出现. 

证明 当 n = l 时，定理显然成立，假设定理对于所有的阶数 
为 - 1或少于 n - \ 的矩阵均成立.如果 A:c 二 Ax， 这:里 : 

那么由引理 7.12( 这里 B 二 （A)) 存在 个酉阵 ！7使得 


V h AV - 


A 

0 


I 

C -In - 1. 

^ — 1 


由归纳法假设存在一个西阵 t 使得 v H c 是上三角阵.这样，如 
果卩； u . diag ( l ,?0, 那么 Q H AQ 是上三 角阵. □ 
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例 7,1,2 如果 

' 0.89441 0.4472 ' 

. .-0.4472 -0,8944 i . 

那么0是酉阵且 


如果£? = [ W , …， W ] 是 （7.1.3) 中的 TH 交矩阵殳的列分块形 
式，则1称为 schur 向量.令等式= ar 两边列向 M 相等.我 
们知道 Schur 向量满足 

k 1 

Mk = ^k<Jk f S n a^i ^ 左二 l:w- (7.1,4) 

由此我们得知子空间 ! 

Sk : span { 7 1 ，‘‘‘， *?/& ( ， k = 1 : n 
是不变的.而且，不准证明如果仏=|^，… ，办] ，那么 A ( Q ^4 仏） 
二 ，…， 心丨.由于 （7.13) 中的特征值吋以随意排序，紋对应于 
每右个特征值所组成的子集都至少存在 一个々 维不变子空间. 

从 (7. 1.4) 述可得出另外一个结讼，即 Schur 向量办是一个 
特征向量当且仅当 N 阵的第4列为零向量.这种情形对 k = \-n 
都出现时当且仅当 A H A = AA H . 此时称 A 为正规矩阵. 

推论 7.1.4 A G _ wXH 是正规降当且仅当存在一个酉阵 
使得 

Q U ^Q = ciiagUi ， … ， A„ ) , 

证明易知如果 A 酉相似于一个对角阵，那么 A 是正规阵. 
另一方面，如果 A iH 规 aa H AC ? = T 是它的 Schur 分解，那么 r 
也止规.而一个止规的上二角阵 r 必为对角阵.推抡证毕， □ 

注意到如果 a ^ e - T ^ diagCA ^ + JV 是一般 n x 71矩阵 A 
的 Schm ■分解，那么 tl N 1! F 与 Q 的选择 无关： 

I! JV II > = HAlIjr-tl^-I^AHA) 

这个量称为 a 的正规偏离度.这样，要使： r 更对角化”，就必须利 


A 


3 8 

L- 2 3J 


以及 Q 
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用非 TH 交相似变换. 

7.1.4 非正交归约 


为了说明什么是非 iK 交相似归约，我们考虑一个 2 X 2 的块. 
角矩阵的分块对角化. 

引理 7.1.5 设 rG 分划如下: 

[ T u T l2 lP 
0 T l2 ^ 

P Q 


T 


定义线性变换 


^( X ) 


为 

U - xt 12 


这里那么 6 为非奇异当且仅当； UT u )nA(h2) = 0 
苦今 非奇异且 Y 定义为 

r h z ] 

V = L 0 tJ ， 制：.〜 

那么 y ^^ = ^3^(1',], t 22 ). 

证明 假设对 : v_ ， o 有 >(x) = 0 

Lo 0」/> - r 

r q - r 

是 : V 的 SVD 分解， K 中 I： r = diagU), 

程得到 


rankCV ). 将之代人方 


12 I 


[An A l 2 ^ E r 01 _ T£ r OnB u B 

' A 21 4 22 」L 0 0」 _ [ 0 oJ - b 2 i b 22 」 

其屮 t / Hrut ; 二（\)和.通过分块比较我们知 
道 Azi 二 t )， JBi 2 = t ) 且 A ( A 11 ) = A ( i 3 y _). 故 

07^ A(A n ) = X(B n ) £ A(T U ) fl A(T 22 ) 

另一方面，如果 A ( T u ) fU ( r 22 ) 那么我们有非零向量 X 和 jv 
使得 r u x = 虹且） h t 22 = ^ h . 由计算知.最后，如果 
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多非奇沣，那么以 h 定义的矩阵 Z 存存 : U 

y - lTY - r ^ i[ J 

U A h 0 T 22 jLo 
ri'u TuZ ZT„ + T, 


T,i 0 


例 7.1.3 若 


1.0 0.5 -0. 


r = ；0 3 8 ii V = 0.() 1.0 0,0 , 

U) -2 彐 Lo.O 0.0 ! .0- 


通过電复应用引理 7. 15,我们能建立以下史一般的 结论： 
定理 7.1.6 (分玦对角分解）假设 


Q h AQ = T 


(7.1.5) 


是 AGC n 〜 的一个 Schor 分解且设乃,为方阵.如果 A ( T it ) fl 
当且仅当八那么存在一个非奇异矩阵 Yd 
得 

( QY )- 1 A ( QV ) = diagd ，…， T w ), (7.1.6) 

证明利用引理 7.1.5 及归纳法即吋获证. 口 

若每个对角块乃,对应不同的特征值，那么我们有以下 推论： 
推论 7.1.7 如果那么存在一非奇异阵 X 使得 
X~ l AX - diag ( A !/ + N ] ，…人 T + ')， N , G 

(7.1.7) 

这里 Ai ，…，互不相等，整教 ，…， n 满足 m +…+ \ ，且 
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每个 M 都是严格上三角阵 T 

许多重要的术语与分解式 a 1.7) 布关.整数％称为々的代 
数重数.如果〜=1,那么 < 称为单特征值 . A , 的几何重数等于 
milKJV ,.) 的维数，卽与 A ; 相对应的线性无关的特征向量之个数.如 
果\的代数重数 大丁它 的几何重数，那么 < 称为退化的特征值. 
一个矩阵若有一个退化特征值则称为退化矩阵.基于 下面的 结论， 
非退化矩阵也称为呵对角化阵. 

推论 7.1.8 (对 角型 ） A 6 7^ 非退化当且仅当存在一个 
非奇异阵使得 

X l AX - diagUi ，…， A„). (7,1.8) 

证明 A 非退化当且仅当存在线件无关向量 
且对应标量 Ap -.-，、 使得 AtfAa = lj . 这等价 F 存在一个 
非奇异阵 X = [ 々 ， ■‘、 ， r „ ] G x "使得 AX = 其中 I ?二 
diagU〆 "，、）. 口 

注意到如果 / 是 A ：」 的第 / 行，那么二 A #. 这样， X_ T 
的列为左特征向量， X 的列为右特征向量. 

例 7.1.4 如果 


5 - r 

「1 11 

K X = ' 

_ - 2 6 _ 

LI _ 2 」 


那么 X" l AX = diag (4,70). 

如果我们将 (7.1.7) 中的 尤分划 如下， 

X = [x ly x q ] 

n l n <i 

则 C " = ranU 】） ㊉ … ㊉ ran ( X ,> ，不变 f 空问的一个直和■如果这 
呰子空间的基特别选取，那么有可能在 X UX 的上三角部分产 
生更多的零元素. 

定理 7. 1 .9( Jordan 分解）如果 A G C ” x '那么存在一个非 
奇异阵 C " x n 使得 X -1 AX = diag(A ,… ，上） 这里 



Lo … 0 A ;」 

是 ni i X m i 矩 阵且 w 1 —■‘‘ + % = "- 

证明 参看 Halmos (1958, 从 112 页起 .） □ 

这里 X 称为 J or dan 块.尽管 J ordan 块沿对角线的顺序不惟 
一，但与每一不同特征值相对应的 Jordan 块的个数和维数是惟一 
确定的. 

7.1.5 对非芷交相似变换的几点看法 

1 个退化矩阵的 Jordan 块结构难以从数值 h 确定.可对角化 
的矩阵集合在/ “屮是稠密的.内而，一个退化矩阵的微 
小扰动就会使其 Jordan 型面目仝非.我们在 7.6.5 小节中对此做 
迸一步地探 kT . 

在特征值问题中，出现的一个相关困难是几乎返化的矩阵的 
特征向量矩阵吋能是钚条件的.例如.仟何将 

A = \ i + € 1 1 ， 0< nl. (7.L9) 

L 0 1 - £ 」 

对角化的矩阵都有 1 量级的条件数 (2 范数意义 K ). 

E 

这些观察揭示了病态相似变换所导致的 困难由 r 

fUx 'AX) = X l AX i bu {7. L 10) 

K 中 

I! E II 2 ^/^ 2 (X) || A !| 2 . (7. 1.11) 

显然，不用酉相似变换计算特征值会 产牛很 人的误差. 


7.1.6 奇异值和特征值 

由 TA 和它的 Schur 分解 （2 H AG = diag ( A ;) + N 有相同的奇 
异值，4以得出 




o min ( A ) ^ min I A, I € max i A ； I ^：： 7 眶 (A ) ■ 

从我们对三角阵的条件数所知，有可能 


max 






«^ 2 u) 


这提醒我们对于非正规矩阵，当分析 Ar = /;的灵敏性时，特征值 
没冇奇异值那样的“预示性 '非止 规矩阵的特征值有别的缺陷.参 
看 11.3.4 小节. 


习 题 

7.1.1 旺明：如果是上三角阵且正规，则： r 是对角阵. 

7.1.2 证明 ：如果 X对角化 （7.1，S ) 式屮 2 X 2 矩阵且^■那么 

7.1.3 假设 A 有不同特征值， M 证明，如果丁是它的 
Schur 分解且 AB = _ R 4 JP 么是上 三 角阵. 

7.1.4 证明 ：如果 A 和 B 11 是在 那么： A ( AB ) = A 
( BA)U \ fK^Oi . 

71 -5 给定分解证明对仕意 e > 0 , 存在一个可对 
仂化的矩阵 B， 使得 || 4 _ B || 2 <心这表明可对角化矩阵的集合在 C 中是稠 
密的，并且约旦标准型不是一个连续的矩阵分解. 

7.1.6 假定木 — A 且 Q ^ AiQi , =乃是的 Schur 分解■证明I仏I有收 
敛子列丨&! 

lim 狀二 Q, 

? +■» 

其中 Q H AQ - T 是上三角阵.这表明矩阵的特征值是它的元素的连续函数. 
7.1.7 证明 （7. 1.10) 和 （7, 1， 11). 

7.1.8 试说明怎祥计算 


k 


C 

D 


的特征值，这現 A，B，C 和 D 是给定的实对称阵. 
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7. K 9 用 jonim 砧准形址明若矩阵 A 的所有特征恆均严格小于 1, 则 
lim A* = 0, 

7.1.10 初值问题： 

:( 

y ( 

有解 .t ( f ) = coa ( / ) 和 .vO 
/祕）的三种迭代法，设 


方法 1: 

^ +1 - 1 ■ 

- hy t : 


+ - 


方法 2: 

i 川二 1 

1 hyk 



- 

方法 3: 

IJM 1 二 1 - 



外 +l:] - 

- tuc k 


用格式 



来表达每种方法，这里是 2 x 2 矩阵，対每一种情形计算2(4 )! )并用之讨 
论 00 时的 lirrLT > 和 lim ^* - 

7.1.11 若 是一个 Jordai ! 块，^>(_/)是多少？ 

7 . 1 , 12 证明若 

ff ll *12 Ip 

0 W 22 "U 

P Q 

是正規阵且 ACBdfUCliu 卜 0，则 « I 2 = 0. 

本节注释与参考文献 

W — 訓 ( 1%5，第-章）和 Stewsrt ( 15>73，第六章 > 精美地介绍 f 代数特征值问题 
之数学性质，对需要更多参阅文献的读者，我们推荐： 

R . Bellman ( l 970)- to Matrix Anaiysif ， ,2 nd ed - , McGraw - Hill,New York , 

l . C . Gohberg t P . LanCEiSTcr , and L - Rodman {1986) - Invariant Subspaces of ^trices With 
Applicatiom , Johii Wiley and Sons，New York - 
M . Marcus and H . Minc ( 1964) , A . Survey of Matrix Thwry and Matrix In，qualities t Al ¬ 



ly - y ( i ), i (0 卜 1， 

, i ) - - : r ⑴， 3?(0) = U 

)= hn (£) .令 /i >0,下向 是汁算 和 y k ^ 

j'n — l 和 ： ^ G : 



lyn and Bacon, Boston 

L. Mjrsky (1963). An hurodu(Um fo Linear Oxford Unwerifty Press , Oxiord , 

Schur 分解最皁发 衣于： 

【■ Sdiur( 1909). “On the O^racun^tir Roottiof a linear Sub>tituUt nj with an A[>plicaiiun to 
lhe Tlttwry of IntegraJ Equations, ” Mutfi , Ann - 66.4H8 — 5 J 0( German) 

与我们的证明十分类似的个证明如卩专片的 105 
H r W. Turnbull and A, C. Airkcn (1961). Ari intraciuctidi the Theory of Cunvnkal 
Ff ： irm^ , Y>jvcr , Nevv York. 

冇关奇异仇、持征偵 、 伪持征值（见 11.3.4 小 ）)_) 之间的关系之 W 论叮见； 

K-C.Toh and L. N, Trefethcn ( 1994), Li Pscuckw.cros of Polynomials rscvxlotipectrs of 
Conn pardon Matrices， P， burner. Math 、 68 ^ 403^425, 

V- Kktaneh(1995)」"Singular Values ol G_>mpanbri Matrices md Iksunds on Zeros of Poly- 
nnrmals, "SIAM j . Matrix Anal. Appl. 16, 333 — 340. 

§7.2 扰动理论 

计算特征值也就是计算特征多项式为枣的点. Galois 理论告 
诉我们如果 n >4,这样的过程必须是迭代的.这样，有限终 lh 必带 
来误差.为了知道一个合理的迭代终止标淮，我们需要扰动理论来 
告诉我们怎样考虑近似特征值和不变子空间. 

7.2.1 特征值的敏感度 

几个求特征值程序产生-列相似变换；使得 ATjAX , 逐步 
地“更对角化0然会问，矩阵的对角元素与它的特征值相似程度 
怎样？ 

定理 7.2,1 (Gershgorin 圆盘定理）如果 X _1 4 X = D + F 
其中 U ^ diagCA ， …，心）且 F 对角元素为零，那么 

AU ) cCJu ,， 

i - \ 

71 

其中 f Z, 'Z '■ z - di I ^ 2 I I i . 

r 1 

证明假设 A 6 A ( A ) 且+失般性，乂= 1:«. 由于 
(0-入0 + ^奇异，由引理2.3.3得出 
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II(»-a/)- 1 fIU = I ： 7^-yT- 

对某- 幻成立 ■但这隐含 AGJV □ 

还町证 明如果 （ G e rshgoi * in )_， D , 与其他圆盘孤立，那么 D ; 必 
含有 A 的 个 特征值.参看 \¥ ilkinson ( l % 5 , 从 71 贞起）. 

例 7.2.1 如果 


「10 2 3] 

A - j - 1 0 2 丨 ’ 

L 1 - 2 1 」 

那么 ； U A ) 〜 110. 226， . 3870 f 2. 2216 i , . 03870 — 2. 2216 i 1 且 
Gershgorin 圆盘是 . 

D t = 1 I s I ： I ^ - 10 !<5 J , 

D 2 = 且 H ^ I ： 1^-1 !< 3 |. 

对: t 1 一些很重要的求特征值程序，能够证明算出的特征笸是矩阵 
4 + 1 ?的精确特征值，这里 E 的范数很小.所以，我们必须了解一 
个矩阵的特征值是如何受微小扰动所影响的.阐明邊个问题的典 
型结果是下面的定理： 

定理7.2.2(泓1^1*不0«0 如果 " 是 A + E 6 /! x "的一个特 
征值且 X:〗AX = D 亡 cliagUi ，…， AJ， 则 

^ min > 1 入 1 !<^{ A ) || E || 

其中 I 卜 U 表范数. 

证明我们只需考虑当 y 不在 A ( A ) 中的情形.如果矩阵 
A _I (A + J ； -^/)X 奇异，那么 J + 
f 是从引理 2 . 3 . 3 , 我们有 

K II (D - ^l)- l (X- ] EX) J| ^ 

< 11 1 HpIlXllJlEll.llX 1 H p . 

由于广 1 蠢对角阵，而对称阵的 > 范数是最大对角元素的 

绝对值，故 [I (D - f A)~ l || | A ^ 7 j - 由此，口 I 知定理成 

立. □ 
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逋过 Schor 分解可以得到一个类似结果. 

定理 7,2,3 设 Q U AQ = D + V 是 4 G : T 〜的一个 Schur 
分解（见 (7.1.3)). 如果 "€ 八 4 + £ ： ) 且户是使得丨二 0 成立 
的最小正整教，则 

mm I A _ " I n^x(0,0 l/p ), 

Af X(A) 

其中 

e --= II e il 2 * 11 n ，!：■ 

k 

证明定义 

" A €- A ( A ) 1 卜 " 1 = || ( 〆 - O )- 1 ! j 2 ' 

当占 = 0 时定理显然成立.若 <?>()， 那么 T - ijid - A ) ] E 竒异且 
由引理 2.3,3 我们有 

|| (^/ - A)~ l E || 2 ^ || (;iT - A )' 1 II 2 Jl II 2 
二 II {{jil - D) - N) 1 II 2 n E II 2- (7.2.1) 

由于（ 〆 -/>)〃为对角阵且 ink 二0,不难证明（（ 〆 - i >) 1 nv 
= 0. 这样 

{{fil - D) - N)-- x - - D) - D) l , 

a 

ii ((^/ D) - N )- 1 ii 2 < 音 ^( ii n 

若5>1，那么 

If (mI-d) 一 n) 1 IU<iS i! !!l, 

a 从 ( 7 .2. i ) ，及 .若 j < i ， 则 

li(j«/-D) - N) 1 !l 2 < i 2 II N II 2. 

^ 丨 =0 
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Lo o 4.001J 


L.OOl O Oj 


那么又（4+幻々|1,()()01，44582,3.9427丨且4的特征向童矩阵 
满足《 2 (叉）〜10 7 .定理 7.2.2 中的 Raucr-Fike 界的数量级为10 4 
而定理 7.2. 3中的 Schur 界的数量级为10 0 . 

若 A 非正规，定理 7.2. 2和定理 7.2.3 都表明 T 潜在的特征 
值/乂敏度，特别适当 A(；0 或 || N ||， _1 很大时，4的微小变动就 
会导致特征值的很大变化. 

例 7.2. 3如果： 


A = | 且 jF ； = , 

L0 0 」 L10 ■" 0 」 

那么对于所有 AeAU ) 且 "GAU + E),U !-10 1 .在本例 

中，矩阵 A 量级为 10 1() 的变化导致了其特征值量级为 KT 1 的变 
化. 


7.2.2 单特征值的条件数 

如果矩阵 A 是止:规的，那么它的特征值是不会极端敏感的, 
另一方面，非正规性汴不一定隐食其特征值很灵敏.其实 t 一个非 
正规矩阵可能既有好条件特征值乂有病态特征值.基 F 这个理由， 
有必要完善我们的扰动理论以便将之应用于单个特征值而不是整 
个谱. 

为此，假设 A 是 AeC nX "的单特征值且满足 A . r 二 Ax ， 
y H A = Xy H > II .r !| 2 = || ^ I ! 2 = 1 .如果 Y H AX = J 是约当分解， 
二 X — 1 , 那么和 X 是 X (:,0 和 Y (:，0的非零倍数（对某个 
0.从1二 Y (:叮知 y 1 工关0,该事实我们稍后要用 
到. 


运用函数理论的经典结论，可以证明在原点附近存在一个可 
微的以 e ) 和 AU ) 使得 




(A + eF ) j '( e ) - A (£ ) .r (e ) , II K l | 2 = 1 , 

其中 A (0) = A , i (0) 二 z . 对 e 微分该方程且令 e = 0 ，我们得到 

Ar (0) \ Ft = A {0) .r \ Lr (0 ), 

用 . V H 乘等式两边，冋除 / Vr , 且取绝对值得 

|A(0)|: i yf - 

若 F = ，即知上界可以达到.基 f 此，我们称 ,( A )- |^ H -rl 
的倒数为特征值； I 的条件数. 

粗略地说，以上分析表明，如果矩阵4作量级为 e 的扰动，那 
么其特征值 A 之扰动可能达到£々以）.这样，如果 s ( A ) 小，就有 
理由认为 A 是病态的.注意到 . v ( A ) 是与 A 相应的左右特征向呈之 
夹角的余弦，且只要 A 是单特征值则 HA ) 值惟、 

奴; 0小意味着4接近 个有重 特征值的矩阵.特别。如果 ； i 
是单特征值且 〆 A )<1, 那么存在- 个 E 使得 A 是 A 的重特 
征值且 

」1 -?_1 j - _ 

“ II 广 vT^I)). 

该结论是 Wilklnsond 972) 证明的. 


例 7.2.4 如果 



1 

2 

3 ~ 


r 0 

0 

0- 

A — 

0 

4 

5 

和 E = 

0 

0 

0 


-0 

0 

4.001. 

l 

i -001 

0 

0- 


那么 A(A + E ) ^ U - 0001,4 . 0582,3 - 9427! 3 - s (\)^. 8 x \ 0 °, 
s ( 4 )^. 2 x 1( T 3 , 且 s (4. 00) 2 x W — 3 ■可以观察到 

11 E || 2 A ( A ) 是对每个特征值所受之扰动的很好之估计， 

7.2.3 多重特征值的敏感度 

如果 A 是多重特征值，那么特征值的敏感度问题更复杂.例 

如，如果4 = P ”且 0 1，那么 A U + eF ) = 丨1 ± 
L 0 1」 Ll 0」 
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^丨，注意到若 u / o , 那么 " j 以推出 A + £ F 的特征值在零点4、 
可微- 它们存原点变化卒足无穷.一般地，若 A 是4之一} M 化特征 
值，那么 A 的 0( e ) 扰动将导致 A 的 OU L >) 扰动（若 A 对应一个 
/>阶约当块）.详细讨论可见 Wilkinson ( 1 ， 从77 页起广 

7.2,4 不变子空间的敏感度 


敏感的特征向量集合可以组成1、非敏感的不变子空间，只 
要此空间相从的密集的特征值是孤 的更精 确地说，假设 


Q H Aa-[ JU I' 2 } " (7.2.2) 

L IJ I 22 」卩 -r 


^ A 的一个 Schur 分解， X : 中 

Q = [<>i Qi ]. 〔 7.2.3) 

r ri ~ r 

由我们对特征向填扰动问题的讨论，易知不变子空间 mn ( 殳 d 的 
敏感度依赖于 A ( T n ) 和 a ( t 22 ) 之间的距尚.该距离的适当度 a 
正好是线性变换 X - i u X - ^7^的最小奇#值（回忆这个变换 
曾在引理 7. 1.5 中出现过）.特别地，如果我们定义矩阵和7^ 
之间的分离 度为： 

/ 7 , r r 、 II T]]X - XT 22 li F h ^ 、 

sep( 7 H . / 22 ) 二 min — — II v II - ■ Ij.2.4) 

x 丈 u II A || f 

则我们有下面一般结论， 

定理 7. 14 假设 （7. 2. 2) 和 （7. 2. 3) 成立且对任意矩降 
'我们对殳有下列 分块： 





如果 seprr ^ T^OXJ 且 
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那么存在一个〃)〜且 


使得 0 = + + M 的各列组成 A + £ 不变子空 

间的标准正交基. ( 

证明这个结论是 ^ tewart (1973) 之定理 4.11 的稍微重复， 
欲知证明细节请参阅原作.也可参看 Stcwm 和 Sun ( 〖990,第230 
页）.矩阵 （ f + pHp 疒是对称正定阵 j 〗 p ir p 之平力根的逆矩 
阵.参看 4.2. 10节. 0 

推论 7.2. 5 如果定理 7.2.4 中假设成立，那么 

— (一0 山一 么））<4 

证明利用 P 的訏异值分解，可证 

IS Pd f || 2< || p || 2 (7.2.5) 


因为所求之距离就是 a ? Qx ^ p(i + p h p ) m 的范数，推论得 
证. □ 

这样， wptTu / JT ‘ 22 )的倒数吋以看作-个条件数，用来度量不 
变 f 空间 ranCGO 的敏感度. 

例 7.2.5 设 


= 


3 

0 



0 -201 ^ 
，和 

a 3.01J 


r l2 = 




… A -Tn T ]2 1 

还假定 A = r=. . 

L 0 T 22 」 

注意到 i = 这里 & = [ e i, e 2 ~l G x 2 - 由计算知 

sep ( T n ，)々()■ 0003 -若 


瓦 21 = 



且我们测试 
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A + E ~ 


-in 


T22 , 


的 Schur 分解，则发现受扰动变为 



- 0.9999 

- 0.0003 

Qi = 

(} .()0()3 

- 0.9999 

- 0.0005 

' 0.0026 


- 0.0000 

0.0003 - 


于是，我们有 


distCranCQi ) , ran (0 i )) ^.0027 ^ 10 6 / scp ( Tu ^ 22 ) ■ 


7.2.5 特征向量的敏感度 


如果在上 节中令 〃 = 1,那么就是分析特征向量的敏感度 fpj 
题. 


推论 7.2. 6假说 ㊀ : = [ yi ， Q 2 ]6 C iX： "是正 
交阵，其中 wGC ". 设 


Q H AQ = 


A 

0 


T 22 j n - 1 
?? — 1 


q h eq = 


r H 1 II 

五 Z 2 」 n — 1 
n — 1 


(这样， A 是特征向量. ） 如果^ 
" e || 2 ( i -[ 


= dT 22 - Ai )>0 J - 
5 'I v II 2 


那么存在满足 II P || 2 <4 的 P ㊀ 7 — 1 , 使得 1 = (w + 

^ W/Vl + i ^ P 是焱 + E 的单位特彺向量 (2 范数意义下），而且 
有 

dist(Span 1 丨， Span I Q ] 丨） 在 4 ^ ^ ^ 2 . 


证明 从定理 7. 2. 4, 推论 7. 2. 5, 并汴意到若 T u = A 则有 
se P ( r m T 22 ) = ‘ n ( 7^2 - AJ ) ，就可得此结论. □ 

dmin ( T 22 - AJ ) 只是粗略地估计 A 和 r 22 的特征值之间的分离 
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度.我们之所以说“祖略”是 ㈥ 力 

sep(A 1 ， r 。） = r [- A ”气； 々 - A 1 ， 

而此卜_界是一个粗略的估计. 

特征值的分离度影响特征向量的敏感度是毫不奇怪的.实际 
I ： a 为 Hh 退化的重特征值，那么对应的不变 f 空间就有无穷多4 
能的特征向量基.以上分析仅仅表明这种小确定性在特征值的集 
结时出现，换句话说，邻近的特征值听对应的特征向量是“不稳定 
的' 

例 7.2.6 如果 

_ " 1.01 0.01 ^ 

_ ^0.00 0.99i ， 

那么特征值 A = .99 有条件数〗/ 〆 .叫）〜 1. 1 18且相应特征向量 
i = 「.4472, - .8944]' 另一方面，4的“附近的”矩阵 

[1.01 ().011 

A 十 E = 

Lo.oa l . oo 」 

的特征值 I = 1. 00有特征向量 

士：= [0.7071. - U-071] 1 - 

习 题 

7.2,1 设 Q l AQ di^Ai) ^ \ 是的-个 Sckjr 分解且定义 
v(A ) = || A 11 A - AA" || r ，则有： 

6 i! ( A HU、 T 、■⑷ ' 

其 h 下界分别由 Henrki(l%2) 和 L；bcHdu(l%5) 给出」当 n = 2时，试证明这 
些结果. 

7,2.2 设4 6 7 iAA^dia^U] , * ■乂）. 其中七互不相 ㈣ . 证 

明若:V的列向罱足 2 范数卜的咩位向茕，则 - » ■ t(lAa)) 2 . 

? - I 

7.2. 3 设 Q U AQ = ding (A, ) + N 是 A 的 Schur 分解且 X 1 AX = 
diagUJ] 正明 k 2 U) 2 >1 + ( J N II 〆"A || j 2 . 见 Loizo U a969), 
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7.2,4 若 X _1 AX - dmg ( A . r ) a | A | | U „ i ， 则 
--： I A ; l < 

在《二2情形下证明这个结果■见 Kuhc (1975)- 

7,2. 5 证明 ：若 4二 | “ 【"[且 d h 则 、 U ) - >， U ) = ( 1 — I c / 

LO b } 

U- Ml 2 )- 1 ，' 

7.2,6 假设： 

I Ml 

Lo r 22 J 

M . A ^A(r 22 ) -证明若 7 ，^22 h 则 

'、 ⑴ - vtpt ( t ,7- a /) - ] t . n 、' \/ II “ I 

7,2.7 证明单特征值的条件数么酉相似变换下 不变- 
7.2.8 在 Bauer - H 定理（定理7, 2. 2 ) 中的卜]样假设下，证明 
min I A - (K I; I X " 1 £' I I X I I 1 s> 

AC W ) 

7,2.9 iJF 明 

7.2.10 证明如果 B G : 尸 x M.Ce 夕 、 fl ， 则对所有 A £ A ( B) 和 "t 
A ( C )^ - sep ( if f C)<|A - 」 
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§7.3 幂迭代法 

假设我们给定 A 6 P y 和酉阵 W 6 : .” x ' 假定 Householder 
正交化(算法 5.2. 1) 能推广到复数阵(这能办到）.考虑如下 迭代： 
To^U^AU. 
for 沁=1,2， ... 

T k 分解） （7.3.1) 

T k = R,V k 

end 

由于 I = R k U k = U \ ] ( V k R k ) V k ^ U ^ T k - , L ^由归纳法可得 

r k = … t / JKfyoLV - G )- (7.3.2) 

这样， 每个八 酉相似于 A . 乃 儿乎总是收敛到上二角阵，这不是 
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显然的，它也足本 U 的中心议题.即， （7. 3.2) 儿乎总是“收敛”为 
4的 Schur 分解. 

迭代 (7.3. 1) 称为迭代，它构成计算 Schur 分解的最冇效 
算法的支柱.为了导出方法并得出其收敛忭质，皆先给出本身也重 
要的两种别的求特征偾的迭 代法： 幂法和 正交迭 代法. 

7.3.1 幂法 


假设对角化 aX . 1 diagUi ， …， A,)， 其中 
[心，…，〜]， | | > |A 2 |> …之 I I i 给出-单位向讀 q (m e 

二'幂法产生如下向量序列 fh 

for k = 1 ， 2 , … 

:⑴ = A . u 

q U) = z ih) / I ! z (k> || ： (7.3.3) 

乂⑴ = [ q ik ) l H Aq ik) 

end 

做 2 范数单位化并没有仟何特別之外，它只足让本节的讨论能较 
好的统 

让我们考察幂迭代法的收敛性质.如果 

q ⑼：^1 + ^2-^2 +…籽 a ^ „ 

那么吋以推出 


由于 g ⑷ £ S panU~ W l 我们得出 


而且 


dist ( span ~ ⑴丨 , spanS x1 1)-0 


賴， 


im = o (| 卽)， 

如果 I Ai 丨> | A 2 丨 I A „ K 我们称 h 是主特征值.这样，如果 
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^ 是 i 要的且/~在相应的主特征向童 A 方叫上有一分暈，那 
么幂方法收敛. 

没有这些假定的迭代性质在 Wiikinson ( 1965,570贞）和 Par - 
JetT 及 Pcole (1973) 的书中有讨论. 

例 7.3.1 如果 


F - 261 209 - 49^ 

A =_ I - 530 422 - 98 , 

L- 800 631 - 144- 

则又（炱）=1'10,4,3丨，在（7.3.3)中取(/⑻ =[1 ,0, OP ■我 们有: 


k 


1 

13.0606 

2 

10,71^1 

3 

10.2073 

4 

10,0633 

5 

10.0198 

6 

10.0063 

7 

1() 0020 

S 

10 」麵 7 

9 

10.00U2 


在实际中，幂方法的有用性取决于比值 iA^/lL I ，因为它反映收 
敛速率.不用担心 X !方向上分量为零.因为迭代过程中舍 
人误差通常能保证迭代序列在此方向上有分量. I 〖卩艮，常常在 
求上要特征值和特征向量的应用中 Q 知道々 的预先估计. - 般 
地，令即为此一估计，以减少出现 q 很小的危险. 

注意到应用幂方法所盖惟 之 事是编制计算矩阵向 S 相乘 
Aq 的子程序.没必要用一个的数组来存 A . 正由于此，当 A 
是大型稀疏矩阵且 | | 和 i 相差较大时，此算法很有效的. 

用前一节提出的扰动理论能够获得的误差估计. 
定义向量=匈⑴ - A ⑷< /⑴并 注意到 （A + E w ) q w = 
A u \ u ), 这里 E ⑴= - ⑴] H , 这样是 A + 五⑴ 的特征 
值且 




(k) 


All 


II £ ⑴ II 


I r ⑴ || 


^(A,) ~ “h) ■ 

如果我们用幂法去产生近似的左、打特征向量，那么行可能获得 
，(义…的一个估什胃特别地，*:- u ， 4 ) 是在方向 i . 的单 
位向量 （2 范数下），那么我们作近似 .-( A ,)^ ^ U ) f V x，) ' ■ 


7.3.2 正交迭代法 

幂法的一个直接推广可用来计算卨维的不变 r 空问.令 r 足 
一选定整数.满足给定具柯 ir 交列 的《 X r 矩阵 IK 
交迭代法产生如下的一列矩阵 ■! 仏 i : 

for k — 1 ， 2 ,… 

△k : AQ k , (7.3.4) 

Qktik - Z k (QR 分解） 


end 

注意到如果 r 二 1 ，这就是¥法 ^ U ， 序列！ , 丨止:是¥法当初值 

为 g (l}) = Qoq 所产I的向量序列. 

为了分析迭代的表现，设 

Q H AQ = T ^ diag ( A ；) 十5，| A 】| > : A 2 I I 心 I 

(7.3.5) 

是 467 〜的 Schur 分解.假设 l€r< ?1 且0,1和作分划如卜： 


Q = IQ , 


Qp ] 

n~ r 



n ~ r 


「 J Vii 、 T 12 ] r 
A T = I 

L 0 N 22 」w - r 

r n — r 


(7.3.6) 


若 | A r | >| A r+i | ，那么子空间称为主不变子空 
间.它是与特征值 A t ，…， A , 所对应的惟不变子空间.下面的定 
理表明，在合理假设 F ， 由 （7. 3. 4) 产生的子空间 fain (匕）按 
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i 正比例收敛到 认（ 4 ). 

定理 7.3.1 设分解与 （7.3.5) 和 （7.3.6) 
给定 ，打 >2,假设 A r ! > A r + 1 | 且满足 
(1 + ^) ! A f ! > || N || 


如果仏左，「列正交且 

d = dist(/), (A fT ) ,ran(6^)) < I ， 


那么由 （7.3.4) 产生的矩阵满足 

diyl( 0 ,(A),ran(Q^)) 




llh 

ip( r,i, 


/ I A r[1 l t i | IS \\ y /(\ + 0 )\ k 

'I I A 」- || N || r /(1 i 0)) ' 

证明 此证明 放在本 _|V 末的附录中. □ 

定理 7.3. 1中的条件 d < l 确保初始矩阵 U 在某一特征方向 


上是非退 化的： 

d < 1 一 JJ/A 11 ) 1 H ran(Q(j) = I0[. 
定理从根本上说如果这个条件满足 ft 0取的足够大，则 

dist ( L ^( A )， ran (仏 )) < c • I ] 


这甩 c 依赖 sep(T u , T 22 ) 和 A 与正规性的偏离.勿用说，如果 
| 入,.|和 | Adi | 之间相盖不够大，收敛则会很慢 ■ 

例7, 3. 2如果 （7. 3. 4) 用之于例 7.3.1 中矩阵7\，这里 （2 u 


= [ P 1 ] ，我们发现: 




k 

disKDKAXranCgj) 

1 

0.0052 

2 

0 0041 

3 

0. E)039 

4 

0 0030 

5 

0 0023 

6 

U.0017 

7 

0.0013 


误差以 U 3 / A 2 P 二 （ 3 / 4 )* 趋向于零. 

用 Stewart ( 1976 ) 的技巧吋加速 ili 交迭代的收敛速度.在加速 
方案中，近似特征值 Af 满足 

I A ； | ^ 2 = I ： r 

(没加速时右端是 | A i + l /% P ) Stcw art 的算法会常常用来计算矩 
阵 0 ^ 4 弘的 Schur 分解.在 A 是大型稀疏矩阵且只需求它的几 
个最大特征值的情形下，该方法是非常冇用的. 

7.3.3 QR 迭代法 

我们现在来“导出 ”( 73 , 1 ) 中的 QR 迭代并考察它的收敛性. 
假设 （ 7 . 3 . 4 ) 中 n 且 A 的特征值满足 

I 又 i 丨 > I 义 2 I >…> | 

将 ( 7 . 3 . 5 ) 中的殳和 （ 7 . 3 . 4 ) 中的仏分划 如下： 

Q = hi ， …， iJ ; 仏= Ui ”， …， 9^]- 

如果 

dist ( D f ( 4 H )， spanW / i 0 ) ，…， ) < 1 ， i = \ - n, ( 7 . 3 . 7 ) 
则从定理 7 . 3 . 1 可推出，对有 

dist{span{ ， … ， ,span^j ，…， gj ) — 0. 

这说明由 T k = Q^AQ k 定义的矩阵乃收敛 到上三 角阵.亍是 / nJ 
以说只要初始阵 Go ^不是退化阵（满足 （ 7 . 3 . 7 ))，正交迭代 
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法就能算出 Schur 分解- 

考虑怎样由前 个 乃^阵直接算出矩阵 Tp Q 然而然就产 
生了 QR 迭代.一方面，从 (7.3.4) 和八^的定义巾我们有 
A -1 - Q } k-\^Qk-\ = 1 ) 

= (QtiQk)Hk- 

另 方 面， 

T k = Q^AQ k = {Q^AQ k ^(Q'kQk) 

= R k (.Q^-iQ,)- 

这样，先计算 Tn 的 QR 分解，然后将两个因 f 按逆序乘起来就 
决定了 TV 这也正是 （7.3.1) 屮所做的. 

例 7.3.3 如果 造代： 

far 左 =1 ， 2 ， … 

A - QR 
A = RQ 


end 

应用到例 7.3. 1中矩阵，那么严格下三角元素按如下 消去： 

注意到一步 QK 迭代计算量是 OU 1 ). 而11，既然收敛只是线性 
的（若存在）.显然，用该方法计算 Schur 分解代价是相当昂贵的了 
幸运的是这些实际困难能够克服，见 §7.4 和 §7.5. 
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7.3.4 LR 迭代法 


我们用基 TM 丄分解而不是 QR 分解的 P 迭代法的几点评述 
来结朿本节.令之秩为 r . 对应 （7. 3. 4) 我们有如下迭 
代： 


for k = 1 ,2, ■■■ 

= AG k i (7+3.8) 

z , - ga _ au 分解） 

end 

设 r =« li 我们定义矩阵 l 为 

i \ = Gl x AG k C 7.3.9) 

可证明如果令 = 则 l 可由如下方忒 产生： ’ 

T 0 = L^AL U 
for k = 1 ， 2 ， ‘ “ 

T k _ '二 LA ( LU 分解） （7.3.10) 

T k - R , L k 

end 

迭代 （7.3.8) 和 （7.3. 10) 相应称为梯 f 迭代和 LR 迭代.在合理假 
设下， IV 收敛为上二角阵.要成功地实施这两种方法必须结合选 
伞元技 巧 .（ 参看 Wllkin B on { 1965，602页 ））. 

附录： 

为了建立定理 7. 3, 1我们需用到以下引理 .它关 于一个矩阵 
和其逆的乘幂之界. 

引理 7.3. 2令 Q h AQ ^ T = D + N 是 A G 7 s x ”的 Schui ■分 
解，其中 D 是对角阵， iV 是严格上三角阵.令 A 和"分别代表 A 
的绝对值最大和最小之特征值.如果则对于所有 k >0 我们 
有 

II A”| 2 <(1 “广 i(| A 1+ (7-3.11) 




如果力 非奇异且没 >0 满足 （1 + 60 I " I > || N || F ，则对所有々>0 
我们也有 

"a " \\2<(\ + sy l ( { ul _ ir ^ V ^ T ^ y ) * 

(7.3.12) 

证明对定义对角阵 J 为 

A = diag ( l,(l 卜⑴， （1 + 沒 ） 2 , …， （1 + 8 ) n ~ l ) 

并注 意到以 （ 4) = (1 十 O_ 1 .由于 N 是严格 t 三角阵，容易证明 
II 4 Nd _1 || !| N || F /(l + 沒），所以， 

II A k || 2 = || TMI 2 = I! A l (D +- ANA~ l ) k A || 2 
^^c 2 (A)( II D II 2 + II 趣 ― 1 II 2 )' 


<(1 +^) n_l (i A 1 + 


II N II F \ k 

i + d I 


另一方面，如果 A 非奇异且 （1 + 0) I p I > jj N IU ， 则从 
II AD 1 || 2 <1 和引理 2.3.3 我们有 

II A- A || 2 = || T k |f 2 

=im(f + 仙 1 nj-dum h. 


< fcx{A) 


II P - l \\2 
II ad l m 1 II 2 


<(1 + " l- Wll F /(l +~ 9 )) ' 口 

定理 7,3.1 之证明 

用归纳法容易推知 A k Q 0 -仏（札〜抝、将（7.3.5)和 
(7.3.6) 代人此等式我们有 




V 0 

Wo 


n 

W k 


(n) 


其中 Q ^ Q if W k = Q% k .利用引理 7.1.5 我们知道存在矩阵 
— d 使得 
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0 


X 

h- 


于是 


T u 

. 0 

V ( , 


Tu 


x r_ 

'T u 

0 

r 2 2 - 

Lo 

* n— r 

- 0 

^22 

- W M = 

j 

r v r ~xw k i 

L w* 」 



T^u 0 
_ 0 

以下我们证明矩阵 Vo-XW 0 非奇异，这使我们能获得以下表达 
式： 

hi 


XgW^Vo-XWo)- 1 ^-^^, - 




回忆 H 3小节中子空间距离的 定义： 

dist(D r (A),ran(Qjt)) = || Q ^ Q k II 2 - II II 2 - 
由于 II [ l ri ~ X ] || 2 <1 + || X || F ，我们有 

dist(D r ( A)，mn (仏 ）） (7,3.13) 

< II 1%2 lull (v 0 -XWo)- 1 lull TfiMUO+1 ^11 f) 

为证明定理，我们必须对上界中的 4 项都要估计. 

由于 sep(T„，7^) 是线性变换 WX) 二1^叉-灯 22 的最小 
奇异值，容易从推得 

II v II < II Tl2 ^ 

应用引理 7.3. 2,可证 

II ni II 2 <(1+0 )… _l (iu 

以及 

II Tn k II 2 <(\ + ey v (| A r | 

最后，我们将考虑 II C Vo-XWo)- 1 || •注意到 

Vo-XW 0 - Q^Qo- XQ^Qo 

#，_0 


(7.3.14) 

(7.3.15) 

(7.3.16) 
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= [[仏办] 

=a 十 xx h ) i /2 ( z h so ), 

其中 

iq . &] [/ xH ] a + xx h )-w 

:(Q a - Q^ H )d r + xx H r i/z . 

这个矩阵的列是正交的.它们也是 D r (4 H ) 的基，因为 
A h (Q q - Q， h ) = (Q a - 
此关系式可从等式 a h 0 = cr H 推出. 

从定理 2 . 6.1 知 

d - dist(D r ( A H ) ,range(Q 0 )) = V 1 - tr r (Z H Q fl ) 2 

且由假设 d < l ， 

〜 do ) >0, 

这表明 

(V。 - XW 0 ) = (/ r + XX h ) ]/7 (Z h Q d ) 

非奇异 . T 是， 

|J (Vo -XW 0 )- 1 || 2 

< \uir + xx u r i/z ii 2 ii (z H Q 0 r i ii 2 

< 1/ vT - d 2 . (7.3.17) 

将 (7.3.13) — (7.3,16) 代人到 (7.3.12) 即得到定理. 0 

习 m 

7 3.1 ⑹证明：若非奇异，则 || A || x = || X — KIh 定义 
了一个矩阵范数，具有性质 If AB II x < j | A\\ X \\B\\ X ⑹今且 
设 |0 = ma X | A , l , 证明存在非奇异阵 JT 6 C " X "使得 If A IU = 
II X-'AXll 由此得出 结论: 存在一个常数 M ， 使得 j | AM 2 < M (^ 

+ e )* 对所有非负整数 A 均成立.（提示：设其中 
= D + N 是 A 的 Schur 分解 .> 
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7.3,2 证明：由 (7.3.10) 式所计算得到之矩阵即为由 （7.39) 所定义 的尺- 
7.3.3 设"“非奇异且列正交.下列迭代称为逆£交 
迭代： 

for 大= 1,2,"' 

从 AZ * - Qh 解出 z * e :? 

Z k = (QR 分解） 

end 

试解释为什么此迭代通常用来计算 A 的个绝对值最小的特征值■注 
意到实现此迭代,有必要解以 A 为系数的线性方程组，3 p = l 时，方法称为 
逆幂方法. 

7.3.4 设有特征值；^，…， A n 满足 

A = Ax =入 2 =义）= A 4 ^1 A 5 I : "* I I > 

其中 A 为正数.设 4 有两个型如 

[ A 】1 
Lo A J 

的约当块.试讨论当用幂方法求此矩阵时，方法的收敛 性讨论 如何对此收敛 
进行加速， 

本节注释与参考文献 

关于屏方法实用的洋细讨论在 Wilki nS onU965, 第卜章）中 给出力 法讨论了怎样 
加速基本迭代，计算非电贾特征值，以及处理复共轭特征值，下曲文章讨论了不同幂迭 
代法之间的联系： 

B, N- Parletr and W. G. Poole(1973) . u A. Geometric Thorny for the QR ， Lu f find Power It¬ 
erations," SIAM ]. Num . Anal f JO, 3S9—412. 

QK 迭代在下面两文章中同时提出来的. 

j .G-F- Francis(l961)- "The QR Transformation: A Unitary Analogue to the LR I rans-for- 
mation, ''Comp .J -4 , 265 — 271 ， 332—334 ■ 

V.N. KubJaiKJvskaya(l96l). 'On Some Algorithms for ihe Solution of the Complete Eigen¬ 
value Problem, "USSR Camp . Math ‘ Phys .3, 637—657 ■ 

山第一篇的标题可知， LR 迭代比 QR 迭代更早发明.前者的苺本箅法由下面作者 
提出： 

H - Rutishaaser(1958)- “Solution of Eigenvalue Problems with the LR Transformation,” 
Nat . Bur . Stand . App . Math , Ser . 49 ,47 — 81 ■ 
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B.N, Parl(ftt(1995). “The New qd ^orithrns, ” ACTA Nu ， 順 m 5,459—491. 

出现 r 很多关丁 qr 迭代法的收敛性的文其中几 篇足： 

J. H. Wilkinson( 1965). "Convergence of the LR^ QR t and Related Algorithms, Tr Comp r ]. 
K.77—84. 

R. N. Parlertt 1%5 ). hH Convergence of the QR Algorithm,"" Nutwr . Math , 7 ， — 193. 
(Qir reel ion in Nurncr, Malh . tO A63 — 164.) 

B. N, Parlett( 1966) 「 ^Singular and Invariant Matrices Under the CJR Algorithm, "Math . 

球 20,6iim 

H. N. 1%8) H Gbbd C^onvergence of the FfesSc (JR Algorithmon Hessenberg Malri- 

^rMafh. Gjmp — 22 ,803—817 

WiUdnsoMAEP, 第九章）也 i 寸论了这『甩要算法的收敛性坷论欲想深人 f 解 QR 

算法的收敛性及它与别的重要算法的联系，可以读以下文章： 

D, S. Watkins( 1982). "Understanding the QR Algorithm, + SIAM Reviexv 24 ,427 — 440. 

T, Nanda( 1985), “Dilfcrentiai Equations and the QR Algorithm, J . Numer ■ Anal - 

22,310—321. 

O. S. Watkins{ 1993). “Some Perspectives on the Eigenvalue Prublem ^" S/AM Review 35 ^ 
43()—471. 

下面文章有关 同步迭 代的一些实际和理论 件质： 

H. Kutishfluser( 1970). ^Simultaneous Iteration Method for Symmetric Matrices/'Numer r 
Maih . 16 >205^223. See also(Wilkinscfn and Kcinach)l971, pp ， 284 — 302. 

M.Clint and A. Jennings(i^71), (， A Simultanmus Iteration Method for ihe Utisytnmetric 
Eigenvalue Problem f "J. Inst r Math ■ Appik . if, 1 11 — 121. 

A.Jennings and I). R r L.Orr( J971). ^Application of the SimulLaneous [teration Method to 
Undamped Vibration Problem *, 的 hist ■ J ■ Nufti^r . Maih , En^ r J, 13 — 24. 

A. jenniriRS and Stew^rt( 1975). “Simultaneous [teration for the Partial Eigensululioii 
of Real Matrices, V. ImJ ■ Math ■ Apptic r J5 ， 351 — 362. 

G. W. Stcwart( 1975). ^Melhods uf Simultaneous Iteration for Cfllciilatitig Ei^nvectors of 
Matrices,”in Topics in Numeriail Analysis // t od. John j. H. Miller, Acatkmic Press, 
New York,pp. 185 — 1%. 

G, W. Stmvari{ 1976) ^ “ SimuUisntviib Iteration for Computing [nvarifiiit Subapaoes of Non- 
Hcrmitifin Matrices T "Nujner. Ma£h 25,123 一 136, 

也可参阅以下专著的第卜章； 

A. Jenmngs(1977), Matrix Computaikm for En^inetr^. and Scientists^ John WiJcy and 
Suns,Ntw York, 

同步迭代和 Lanczos 算法（参阅第九章)是求一般稀疏矩阵的几个恃征值的主要方 


法- 
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§7.4 Hessenberg 分解和实 Schur 型 

在本节和下一节，我们指出怎样使 QR 迭代 (7.3,1) 成为计算 
Schw 分解的快速，有效方法.因为大評分特征值 M 变子空间问 
题只涉及实数据，我们集中精力推导 (7.3. 0的实 形式： 

H 0 = L/3'AU 0 

for k = 1,2，..- 

H k -, = V^ k (QR 分解） （7.4.1) 

H h = R k V k 

end 

其中 A € R nXn ，每个正交阵，每个 R k e y …是 上三角 
阵.与实迭代相关的困难是私不会收敛到严格的，“特征值暴蒔” 
的三角阵，因为 A 有复特征值.由于这个原因，我们必须降低期望 
值，而满足于计算称为实 Schur 分解的另一种分解. 

为了有效计算实 Schur 分解，我们必须谨慎选取 (7.4.1) 中的 
初始正交相似变换阵 t / o . 特别地，如果我们选择 t 7 Q 使得 jf / Q 是上 
Hessenberg 阵，那么每迭代一次工作量将会从0( 〆 ）减为 
OU 2 ), 最初约化 Hessenber 型（计算 1^) 本身是很重要的计算， 
它可通过一系列 Househoider 矩阵运算来实现- 

7.4.1 实 Schur 分解 

对角均为 1X1 块或 2X2 块的分块 h 三角阵称为拟上三角 
阵.实 Schur 分解相当于将矩阵实归约为一个拟上三角型. 

定理 7.4.1 (实 Schur 分解）若 4 "，则存在一个正 

交阵使得 . 

p*il … R; 

Q^AQ = I ^ Rl2 [ 7 (7.4.2) 

L 0 0 … R 隱 _ 
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其中每个 I 不是1 X 1阵就是有复共轭特征值的 2 X 2 矩阵. 

证明4的复特征值一定以共轭对出现，因为特征多项式 


detUJ - A ) 的系数都是实数，令 A 是 A ( A ) 中复共轭对个数.我们 
对々采用归纳法证明定理.首先注意到引理 7.1.2 和定理 7.1.3 有 
实的类似结论.这样，当6=0,定理成立.现在假设如果 A = r 
+ ^^1(八）且；^古0，那么在^中存在向置 y 和乒 0) 使得 
A(y + k ) = (r + i")(：V + iz )， 即 


A[y r z] = [3? ， z] 


"乒0的假设，表明 y 与^张成 A 的一个二维实不变子空间.从引 
理 7.1.2 可推得，存在正交阵便得 


u t au = 


T n 

0 

2 


r i2 i 2 
T^22 - ^ — 2 


其中 A ( T u ) = U，X K 由归纳法，存在一个正交阵 U 使得 
有所需之结构.令 0 = Udiag ( J 2 , r ) 即知定理成立 .口 
定理表明任一实阵可以正交相似于- 个拟上 三角阵.很明显 


复特征值的实部和虚部容易由2乘2的对角块阵获得. 


7.4.2 Hessenbeq QR 步 


现在，我们把注意力转移到怎样加速计算 （7.4.1) 中一个简单 
QR 步.关于此， （7.4. 1) 中最大的缺点是每步都须进行花费 
OU 3 ) 次运算的完全 QR 分解.幸运的是，若明智地选取正交阵 
1/&每次迭代的工作量可降低一个数量级.特别地，如果 V ^ AV 0 
= /fu = ( U 是上 Hessenberg 阵（\ = 0, ?■ >_; + 1), 那么以后计算 
每个玛只需 OU 2 ) 次运算.为说这点，当 H 是上 Hes ^ iberg 型 
阵时，我们来看看计算和=110 .如 5.2.4 节所述，我 
们通过 /2-1 个 Giwus 旋转 变换： QTHEGly.Gfff = fi 可以 
将 H 化为上三角阵.这里& = 0(^ + 1,《）.对于 ？? =4清形，作 
三次 Givens 左乘： 
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0 
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X 
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X 」 

-0 

0 

0 
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参见算法 5.2.3. 

计算二同样容易实现.在 n 二4时作三次 
Givens 右乘： 


"X 

X 

X 

X" 


r x 

X 

X 

x~ 

0 

X 

X 
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X 

X 

X 

X 

0 

0 

X 

X 



0 

X 

X 

-0 

0 

0 

X- 

L0 

0 

0 

X- 
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X 

X 

X" 
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X 

X 
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X 

X 

X 

X 

- ► 

X 

X 

X 

X 

0 

X 

X 

X 


0 

X 

X 

X 

-0 

0 

0 

X- 


-0 

0 

X 

X- 


综上所述，我们得到下面的 算法： 

算法 7 . 4 . 1 如果 ff 是 wX / i 上 Hessenberg 阵》则本算法用 
H + = RQ 覆盖这里 H-=QR 是 H 的 QK 分解. 
for A = 1 ： n - 1 

[c(k),s(k)} = ^wns(H(k,k),H(k + 1 ,^)} 

" c( k') f ( 办 ） "|T 

H(k .k + \ t k ： n) = ,、 ' I H(k-k + \,k ： n) 

L - i ⑴ t ' U ) 」 

end 

for ^ = 1 ： 77 - 1 

H(\ ： k + \,k ： k + \) 


, 3 % . 



= H (\ ： k ^ \,k ： k ^ 

end 


c ( k ) 

,(k) 


■S ⑴] 
c ( k ) -i 


令 q 二 GU ,6 + 1為）是第 A 次 Givem 旋转变换.容易断定矩阵 
Q :- GV .. G„-i 是上 Hessenberg . 送样，彳也足上 Hessen - 
herg 阵.这个算法需大约6^ 2 个 flop ， 这就比 （7. 3.1) 中的满矩阵 
QR 步快一个数量级. 

例 7.4.1 将算法 7.4. 1应用于 


则有 


"3 1 

H = 4 2 

J) 0.01 


31, 

1J 


「 0.6 - 0.8 0 " 

Gi | 0. 8 0.6 0 

1-0 0 1 - 


1 0 0 " 

C 2 = 0 0.9996 - 0.0249 

JO 0.0249 0.9996- 

"4. 7600 -2.5442 5.4653' 

好+= 0. 3200 0.1856 - 2.1796 

4).0000 0.0263 1.0540- 


7.4*3 Hessenberg 降归约 


接下难要说明的是如何计算 Hesscnberg 分解 

1/jAUo = if, t/fUo - /■ (7.4.3) 

变换阵 t / o 能够通过计算 Householder 矩阵…， P „ _ 2 之乘积而 
得到.矩阵 h 的作用是将第 A 列在次对角元以下的元素都化为 
零.在71=6时，我们有 
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x y X x x 

0 ^ X X X X 

0 0 0 X x K 

0 o 0 X X x 
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ov-mciVD 


咒 holder 矩阵 JV ... 


「月 H B J2 B l3 l k 2 

B 2 l B22 B 23 ] 

^32 -S 33 J 找 k 

1 f 


〜 一 「， r Mr 

P 丄那么 

(尸广 •P jt ) T 4(i> r -.pj 


n - h ) 

的倍量，如果 p k ^ c 

卜 

B n B n P k 

月 21 

_ B n B 23 p k 

. 0 

^2 P^ 3 pJ 
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是一个前 6 列为上 Hessenberg 型的矩阵.对于 k^V n ~2 \ 重复此 
一过程，我们得到 

算法7 . 4 . 2 (Householder 约化矩阵为 Hessenberg 型） 

给定 A 6 R nX '下面的算法计算并覆盖 A 0 , 其中 
H 是上 Hessenberg 阵且 I 7 o 是 Householder 阵的乘积 
for k = I n - 2 

[r ， 芦] = house( A (々 + l : n ,k)) 

A(k + l ： n ,k ： n) - (I - ^uv T )A(k + l ■ n,k - n) 
A(1 : n t k +1 : n) = A (1 : 十 1: n)(I _ 

end 

这一算法需10« 3 /3个 flop . 若要明显形成需附加 4« V 3 个 
flop , 第 k 个 Householder 阵可存放在 A (々 + 2: w ， A ) 中，欲知详 
情，请见 Mart【n 和 Wilkinson ( 1968 J ). 

化4为 Hessenberg 型这个方法的舍入误差性质是很令人满 


意的， Wilkinson (1965 ,351页）指出计算的 Hessenberg 阵焱满足 

K = +E)G. 这里 G 正交艮 II 五 II F<cn 2 u II A i! F ,c 为较 

小的常数 . 

例 7.4.2 若 


1 

^1 



"1 

0 

0 _ 

A 二 

3 

0 6 , 

l/o - 

0 

0.6 

0.8 


■4 

3 1 」 


-0 

0.8 

- 0 . 6 ^ 


则 


1,00 8.60 -0.20" 
t / jAl/o = H = 5.00 4.96 -0.72 

.0.00 2.28 - 3.96. 


7.4.4 三级性质 


Hessenberg 约化（算法 7.4.2) 有大量的2级运算：一半是 
gaxpy S 校正，一半是外积校正.为了在约化过程中引人3级计算， 




我们简略讨论两种方法. 

第一种方法非常直接，它利用分块矩阵约化为分块 Hessen - 
berg 型.设（为清楚起见 ）《 = HV 并 k ! 

「 A" 12 I r 

A ^ 

L ^ 2 l A 2 2 ] n - r 


假设我们已计算 A 2] 的 QK 分解 A^= 卜其中是形 

式.也就是说，我们有 W 〖，I € 一” _ ^ '使得 I =卜汉 i 打（参 
看5.2.2节）.若殳 1 =出吨(心，3 1 )则 

T [An ^ 12 Q 1 

Q , 1 1 ^ 〜 T 〜 

qJa 22 qA 

注意到只要泛 i 是 WY 型，那么修正（1,2)和（2,2)抉就有大量的 
3级运算. QjAQi 前块列是分块匕 Hcsscnberg 型.这也就完全演 
示了全过程.接着我们重复计算37心 2 ^前「列.在~-_2步之 
后，我们获得 



H = Uj'AUo = 0 


H 1V 

H 2 n 


L 0 0 … 好爾」 

其中每个^是 rx r 阵且 2 .每个辽都是 WY 形 
式.整个算法3级计算所占比例为1 _ 0( 1/ N ). 

注意到 H 中的次对角块是上三角阵，于是矩阵下带宽为， 
除了第一条次对角线之外都可以用 Givens 旋转变换消为零从而 


约化 H 为一个真正的 Hessenkrg 型. 

Dongarra , Hammarling 和 Sorensen { 1987 ) Q 证明，怎样混合使 
用 gaxpy 算法和3级修正直接约化 Hessenberg 型.他们的思想是 
当每个 Householder 变换已产生后，只需要作较小的校正.例如，设 
第一个 Householder 阵已算出，为得到 P 2 我们只需要 PiAPi 
的第2列，不是整个外积修正，构造 P 3 我们只需第 


- 400 - 



3 列，等等.用这个方式，仅需用 gaxpy 运算就可确定 Householder 
阵，而不涉及任何外积修 lE. —旦有了适量的 Householder 阵，它们 
合在一起用3级方式去进行修正. 


7.4.5 HessenbeiTg 矩阵的重要性质 

Hesscnberg 分解+是惟的.如果 Z 是任交阵，我 
们应用算法 7.4.2 1* Z T AZ ，则 Q l AQ = ff 是上 Hesscnberg 阵， 
其中0二21^.然而，沙〖=7(1/的）；办|,这暗示只要0的第] 
列是指定的，则 H 就会惟一.实质上这在 H 没有零次对角元素时 
是千真万确的.具有这种性质的 Hessenberg 矩阵称力不可约的. 
以下 是-条 很重要的定理，它说明了 Hessenberg 归约的惟1性. 

定理 7.4.2 ( 隐式 Q 定理）假设殳 = …， l ] 和 V二 

[%，...，％]都是正交阵，且 Q J AQ = If 和 V t AV = G 均是上 
Heisenberg 阵，这里".令6是使心+ ! J = 0的最小正整 
数， H 不可约时约定 A = « .如果 （? 彳= r 1，那么== ± n 且 
I | = I I =2： k . 而且，若 k<n ，则 gH Uk =: Q . 

证明定义正交阵屮=[叫，…，以|„]= v t q 且浅意到 giv 
二 VW. 通过比较这一等式的丨〜1列（/ = 2:々），我们知道 

i 二 1 

= Gwi-i - SV'-iw" 

J= I 

由 Wi = 6 T 得出 [ ，… ， w*] 是上三角阵，于是 iv t = ± I n (i f i ) = 
土 e』 ， i = 2 :友.从 u ? 厂 V r ^ 和乂, j - j = zvJChv t -1 可以推出 v t — 
± %且 

! I — I I = I vjAv t -] \ = f .g 1 ,,i-] J *i — 2 - k, 

如果 « ，则 

取 +i ， eJ H Ge k = eJ^GWe k = eh L Vme k 
, t k 

r = o. □ 

… 1 T = 1 

隐式 Q 定理的要旨在于，如果 Q r AQ = H 和 Z T AZ = G 两个都是 


* 401 , 



不可约的上 Hessenberg 阵，且0和 Z 第一列相同，那么 G _ 和 ff 
是“本质上相等'即 G = 其中 D = diag ( ±1,-, ±1). 

我们下一个定理涉及称为 Krylov 矩阵的一种新类型矩阵.如 
果 “和 那么 Krylov 矩阵 K ( 4， t ; 6 々定义 

为 

K ( A t j ) = [ v , Av 4 广 1 w ‘ 

可以证明在 Hessenberg 归约 Q T AQ 二 H 和 Krylov 矩阵 K ( A y 
Q (: ,1>， W 的 QR 分解之间有联系. 

定理 7.4.3 假设"是正交矩阵且4 G ] R HX '则 
H 是不可约上 Hessenberg 矩阵当且仅当 Q t K (A, 
Q ( M )^) = H 非奇异且为上三角阵. 

证明 设为正交阵且令 H = 考虑以下恒 

等式 

0 T ICU ， Q(: ， 1)，《) = ，…， JT—VJ 三 JT 

如果 ff 是不可约的上 Hessenberg 阵，那么很清楚 JI 是上三:角阵 
且 = /i 21 力 32 …六 1_, 1_ 1 ， / = 2 : W . 由广 11 = 1 可知 H 非奇异. 

为了证明其逆关系也成立，设 B 是上三角阵且非奇异 .. 由于 
KG ,々 + l ) = jm (:， JO , 可以得出 H (： f k ) espanje l ) -^ e k + 1 h 
送隐含着 JJ 是上 Hesaenberg 阵.由于= hi 六 32 … k - i # 0 ， 
可以推出 H 是不可约的. □ 

这样，在非奇异 Krylov 阵和将矩阵归化为不可约的 Hessen - 
berg 阵的正交相似变换之间多多少少有一种对应关系，我们最后 
一个结论是有笑不可约上 Hesseriberg 阵的特征值问题. 

定理 7.4.4 如果 A 是不可约的上 Hessenberg 阵" H ^ R" X " 
的特征值，那么它的几何重数为 1. 

证明 由于 H - AJ 阵的前《 -1 列线性无关，对任意 A 
我们有 rank(A - AOn - 1 . □ 

7.4.6 友矩阵型 

正如 Schur 分解有相应的非酉 Jordan 分解—样， Hessenbei^g 
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分解也有其相应的非酉友阵分解.令 2 6 乂"且设 Krylov 矩阵 K = 
K(A,:»:,«) 非奇异.如果 c -= c ( 0 - n -1) 是线性方程组 Kc = 
~ 之解，则可以推出 AK = KC， 其中 


0 0 ... 0 — c 0 

1 0 … 0 — ci 

C - 0 1 0 - c 2 


(7.4.4) 


Lo 0 …1 - c n ^ L ] 

矩阵 C 称为友阵，由于 

det( zl - C) - c 0 + qa: 十…十 c r 1 ._ l z n ~ l + z n , 

可以推出，若 K 非奇异，那么分解显示4的特征多 
项式.这一性质以及 C 阵的稀疏性导致了各个应用领域的“友阵 
方法”.这些方法一般 包括： 


•计算 Hessenberg 分解 f/JAl/ 0 — H 
• 希望 H 不可约并令 … ， iT _i 勹 ]. 

* 由方程 rc=nv 解出 c. 

不幸地是，这样计箅非常不稳定.仅当 A 的每个特钲值的几何重 
数都为1时，4才相似于不可约的 Hessenberg 阵.具有这种性质 
的矩阵称为非减阶矩阵.可以得知，当 A 靠近减阶阵时，上述矩阵 
Y 的条件可能很差. 

关于友阵计算危险性的完整讨论，可见 Wilkinson( 1965 ， 从 
405页起） 


7 . 4 .7 用 Gauss 变换进行 Hessenberg 归约 

虽然我们是在讨论用非正交变换将矩阵归约为 Hessenberg 
型，我们应该指出也可用 Gauss 变换取代箅法 7.4.2 中的 House- 
holder 矩阵.特别地，假设置换 Hi ，… ，iT tM *G a iiss 变换，… 
叫^已经确定，它们使得 
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其中 


「Bu B 12 k - \ 

i ^21 ^22 ^23 1 

B - 

L 0 B u B 33 . n - k 
k - 1 1 n - k 

的前 A ^1 列是上 Hesscnberg 阵. 然 B 确定一 个秩为 n - k 的置 
换拓使得瓦 B 32 的第一个元素绝对值最大.这就有可能确定一个 
稳定的秩也为《 _务的 Gauss 变换应走二 J _之 〆 ？ 使取取 32 )的 
除笫…个元素外均为零.定义 in = diag ( &，％ ) 和= dwg ( l ir 
Mj , 我们看到 


(M 办 … M 【 JT 上 ）A (Af 先 11 广 - 叫 IT t ) _ 1 


B u 

B 12 


1 

t B 2l 

B 22 


. 0 

M k n^ 2 



的前 A 列是上 Hessenberg 阵.注意到 Mf 1 = / + 即知归化过 

程只是一些很简单的秩 1 校正. 

认真统计即知 Gauss 变换化为 Hessenberg 型只需 Household ¬ 
er 方法一半的计算量.然而，与列选主高斯消去法一样，数据增长 
可能达到 2 n 倍(虽然少见）.见 Businger ( 1969) ,用 Gauss 消去的另 
一困难是，特征值的条件数(即 JA ) 1 ) 在非正交相似变换中并非 
保持不变，这就使得误差估计变得复杂. 

习 题 

7.4.1 设请给出一个详细算法来汁算正交 阵旮使 
得 Q t AQ 是 iHessenbers 阵且 Q t z 是&的倍量 .（ 揭示：先化然后应用 
算法 7.4 .D 

7.4.2 详述用 Gauss 变换化矩阵为 H _ berg 型的整个过 程并证 明它 
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只耑5^ V 3 个 flop - 

7.4.3 在-些情形 ，有 必要针对许多不同的 zG V 、 和的值求解 
线性方枵组 + d )，, = 说明用 Hes ^ nberg 分解能有效 R 稳定地解决此 
问题. 

7.4.4 给-个显式计箅算法 7.4.2 中矩阵 l/o 的详细算法，算法中 H 
最终由 t / 0 覆盖. 

7.4.5 设 " 是不町约七 Hcasenbew 阵，证明存在 对 角阵 P 
使得 D M ffD 的每个次对角线元都等于 ]. ic 2 (/>) 是多少？ 

7.4.6 设艮定义矩阵 C 和 B 为 

r w - r-I 

C=W 十 A 叫 y wJ' 

证明如果 AGA ( c ) 为实，则 AGA ( B ), 并说明相应特征向帚的关系. 


7.4.7 设是实矩阵，有特征值 A ± ? » ，其中 尸 - f 零，给出 
L y s 」 

一个算法求出 c = £^((9)和 a = sin (3) 使得： 



其中 a /3= _ 

7 - 4.8 设 （A j ) 为上 H 微 nberg 阵 HGRf " 的七知特征值-特征向 
量对. 给出一算法用之计算正交阵 P , 使得 


J^HP = 


A 

0 



其中 t G - u x (] >是上 Hessenberg 阵 . P 应为 Givens 变换之乘积 ■ 

7.4.9 设 Jf 6 R" >Tf 下带宽为/>，说明怎样计箅 (Givens 旋转 
之乘积），使得 Q r HQ 是上 Hessenberg 阵.需多少运算量？ 


\4.10 证明：若 C 是不同特征值 A , ，…， A „ 的友阵，则 


VC ^ kdiagUi ，…, A „) ，其中 


V ^ 


Ar 1 


又2 


! ::: 


A n 


AV 
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§7.5 实用 QR 算法 

我们重新讨说 Hessenberg QK 迭代，将它写成： 

H— L/jALo (Hessenber^ 归化） 

for k = l r 2 t "' 

H=UR (QR 分解） 0.5 A) 

H;RU 
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end 

本节的主要目的是描述 H 是如何收敛到拟上-:角型以及说明为 
什么 “ 位移 ” 可加快收敛速度 . 

75-1 降阶 

不失一般性，我们可以假定 （ 7.5. 1 ) 中每个 Hessetiberg 阵 H 
都是不可约的，否则的话，在某一步我们有 

h [Hn 

L o h 22 」/i - 〆 

p p 

其中于是问题通过 “ 解耦 ” 变成关于和叶. 2 的小问 
题 . 关于这一点，我们也用 “ 降阶 ” 迭一术语，在 /)=«-1 或 《-2 
时常常如此 . 

实际上，当 II 仅当 H 的次对角元素适当小的时候，就进行解 
稱 . 例如，在 Eispack 中，如果 

I I < CU ( | 〜 | + | fjpn,f>+L I ) , (7.5.2) 

C 为小常数，就把 Api,/ 断定 ” 为零，这样做是合理的，因为在整 
个矩阵中早已有了 „ II H || 量级的舍人误差 . 

7.5.2 带位移 QR 迭代 

令考虑如下迭代： 

H = L/JAL/q (Hessenberg 化简） 
for k = 1 ， 2 ， … 

决定标量 ；/ 

H - = UK (QR 分解） （ 7.5-3) 

H = RU + UI 


end 

标量//称为位移. （7.5.3) 中产生的每个矩阵相似于 A ,因为 
RU + fil ~-= U T ( UR + ftDfji = V r HV 
如果我们将 A 特征值 A , 排序使得 
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I- 户 I>■*，. > ! 八 - "I ■ 

R " 在迭代过程中同定 不变 ，那么 S 7.3 屮的理论表明 H 中的第 

户个次对角元素以速率!^收敛于0.当然，如果八= 

\ + 1 ，则根本不收敛.但 jsL 比方说，如果 P 比其他特征值更靠近 
A M ，那么元素 （《，^-1) 会很快变为零.极端情形下，我们有以下定 
理 T 

定理 7, 5.1 令 " 是不可约的 Hesscnberg 阵 ff 的特征值，如 
^H = RV + 这里 H - fd= VR 是 If - "J 的 QK 分解，那么 
-1 = 0 且 /?„ n = ". 

证明由十 if 是 + 可约 Hesse rberg 阵， + 跑 " 值为何， ff- 
的前列是线性无关的 . 这样，如果 ^71? = (»-/4 〉是 (^ 
分解，那么， r,XU = l:" _ 1, 但是，如果 H 奇异，则 r tl - 
r„ n =(K 选样，％ =0 且 ff(w ，0 = [0,... ， 0 ， p]. □ 

定理表明，如果用特征值作位移，一步迭代就能将矩阵降阶 . 

例 7.5.1 如果 



1 

「 9 _1 

- T 

H = 

= I 

2 6 

-2 


1 

-X) 1 

5- 


则 6€A(H )， 如果 t/Jt 二 H - 6J 是 QR 分解，则 H = RU + 为 
"8*5384 - 3.7313 - 1 .0090" 

' H = 0.6343 5.4615 1.3867 . 

Xt.OOOO 0.0000 6.0000- 

7.5.3 单步位移策略 


现在让我们考虑在迭代过程中随着次对角元素收敛为零参考 
有关 A(A> 新的信息而改变 y 值， 种实 用方案是认为 为沿对 
角线的最佳近似特征值 . 如果在每次迭代都用此量作为位移，我们 
就得到单步位移 QR 迭代法： 
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for k -- 1 ， 2，‘‘- 

^ — H(n f 71) 

H- txl ^ UR (QR 分解） （入 5*4) 

H ^ RU + f d 

end 

如果 U，《_]) 元素收敛为 0, 则其收敛速度很可能是二次的.为 
看这一点，我们借用 Stcwart( 1973,366页）的一个例子.假设 if 是 
如下不可约的上 Hessenbeig 阵： 



■X 

X 

X 

X 

X 1 


X 

X 

X 

X 

X 

H 二 

0 

X 

X 

X 

X 


0 

0 

X 

X 

X 


_0 

0 

0 

£ 

^ nn- 


且我们执行一 步单步 位移 QR 算法：1/1?二 - h nn l.H ^RU + 
h n J . 经过化为上三角型的《 - 2步后，我们获得具有如 
下结构的 矩阵： ( 



X 

X 

X 

X 

X . 


0 

X 

X 

X 

X 

H = 

0 

0 

X 

X 

X 


0 

0 

0 

a 

h 


.0 

0 

0 

£ 

0 . 


不难证明// = liU + h nn l 中第 （n ,打 ™ 1) 个元素为一 £ 2 b/{ e 1 + 
如果我们假定 e «a ，则很清楚新的（《，《 -U 元素之量级为 
这恰是我们对一个二次收敛算法所期待的. 

例 7.5.2 如果 

1 2 r 

H = 4 5 6 

J) 0.001 X 

且 Ufl = H -7 J 是 QR 分解 T 那么互 = Rt / + 7 J 为 
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'-CL 5384 1.6908 0.8351 " 

0.3076 6,5264 - 6.6555 . 

- 0.0000 2 X 10 5 7.0119 - 

像以上的接近最佳位移几乎总能保证冗^—较 小然而 ，这只是一 
个直观经验，有例子表明即使〜但^是一个 
较大的矩阵元素. 

7.5.4 双位移策略 

不幸地是，在迭代过裎当 

G = \ kmm ^1, m = n-i (7.5.5) 

h fj n 

的两特征值 ^ 和 h 为复数时，则将是一个很坏的近似特征 
值.这时， （7. 5.4) 有麻烦就是意料之中。 

绕过该困难的途径是，逐次应用 A 和作位移量进行两次 
单步位移 QP 迭代： 

， H - t/ l R l , 

if!= RiUi + a L I, (7.5*6) 

ffi " a:!"; (^2^2 » 

ff 2 = R 2 U 2 十 a 2 J， 

由这些等式可推得 

{[7 1 [7 2 )(Jt 2 U 1 ) = M , (7.5-7) 

其中 M 定 义为： 

M = (H "- ail)(H — a 2 ^) ■ (7.5*8) 

注意到即使 G 的特征值为复数， M 也是实阵，这是因为 
M = H 2 - sH + tl 
其中 s = ai + a 2 ^ h tIim + h nn = trace(G)6R 

t — O. 1 0-2 ~ - tnJ 1 nm ~ det( G ) ^ , 

这样， （7.5.7) 是一个实矩阵的 QR 分解且我们可选择 h 和 £/ 2 
使得 Z 二 t / 2 是实正交阵-于是， 


I 
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H 2 - C/?//,t/ 2 = 

=(V X V 2 )^U{V { V 2 ) - Z r HZ 


是实矩阵. 

不幸地是，舍人误差几乎总是阻 ih H 2 回到实数域.欲使 H 2 
为实阵得到保证，则只要 ： 

• 直接给出实矩阵 M I1 2 ~ sH f tl 
• 计算的实 QR 分解，且 
•令 H 2 = Z r HZ 

但由于第一步需0(〃 3 ) 个 flop ， 故这并非是实用的. 

7.5.5 双隐式位移策略 

幸运地是借助于 7.4.5 节中的隐式 Q 定理，我们能够只需 
OU 2 ) 个 flop 就实现双位移步.确切地说，如果我们采用以下步 
骤，则只需 OU 2 ) 个 Hop 就能实现只到只 2 的转变. 

• 计算即 M 的第一列 

* 确定 Householdei : 矩阵 P 。 使得/孙"|)是 A 的倍数 
• 计算 Houychokkr 矩阵 Pi ，…！>„ _ 2 使得如果 Z l = P tJ P l ^- 
P n _ 2 ，那么 ZjHZ v 是上 Hessen berg 阵且 Z 和 的煎一列 
相同 

在这些情况下，隐式 Q 定理允许我们得出结论，如果 Z t HZ 
和均是不可约的上 Hessenberg 阵，那么它们本质上相等. 
注意到如果这些 Hessenberg 矩阵并非不可约，那么我们可以进行 
解耦，然后就处理较小的子问题. 

让我们来进行仔细推导.首先注意到 P n 只需 0(1) 运算童就 
能求出，这是因为 

x = /zfi 十 /i 12^21 _ u + t , 

尸 h 2 l [h u 十 h 22 - 
^ - ^21^32' 

由于相似变换 Po 只是改变1,2，3行和1，2,3列，我们看到 
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一 X 
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X 

X 
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0 

0 

0 

X 

X 
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_0 

0 

0 

0 

X 

x_ 


现在 Househoider 矩阵 Pt ，…，_ 2 之任务是将此矩阵恢复为上 
Hessenberg 阵.计算过程如下： 
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X 
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0 

X 

X 

X 

X 

X 

Pz 

X 

X 

X 

X 
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X 

X 
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0 

0 
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0 
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X 
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0 

0 
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X 

X 

X 
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X 
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0 
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X 

X 
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0 
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X 

X 

X 
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0 

0 

0 

X 

X 
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-0 

0 
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X 

X 
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-0 

0 

0 
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0 

X 

X 

X 
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0 

0 

0 

X 

X 

X 








-0 

0 

0 

0 

X 

xj 




很明显 ， P t 的形式为 P ^ diagU , 巧 ，夂 _*_ 3 )，其中巧是 3 X 3 
的 Householder 矩阵.例如： 
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尸 2 二 


0 

1 

0 

0 

0 

0 

0 

0 

X 

X 

X 

0 

0 

0 

X 

X 

X 

0 

0 

0 

X 

X 

X 

0 

_0 

0 

0 

0 

0 

1_ 


注意到 P„_ 2 例外，因为 P„_ 2 = diaga n _ 2 ,>； 2 ). 

通过观察 - 2 及/>0和 Z 有相同的第一列， 
即知可应用定理 7.4.2( 隐式 QR 定理）.因此， Zm = Z ei , R 我们 
能断定只要上 Hessenberg 阵 Z T HZ 和 Zj'HZ, 均不可约则 Zi 和 
Z 本质上相等. 


从 H 隐式确定只 2 首先是 Frands(196l) 提出的 ，我们 称之为 
Fnmds QR 步 . 完整的 Francis 步归纳如下 . 

算法 7.5.1 ( Francis QR 步）给定不可约的上 Hessen berg 阵 
" ，它的最后 2X2 子阵有特征 值〜和 ，本算法计算 
Z T HZ 并覆盖 H ， 这里是一列 Householder 阵■的内 
积且 Z T (H_ ai r)(ff — a 2 J) 是上三角阵 . 
m = n — \ 

U 十算（只 -4/)( 只 - 以 0 的第一列丨 
a ~ H( m ， m) + H( ?i 

t ~ H(m f m) H{n , n) — H(m , n}H( n f m) 

^ = H(l t l)H(l,l) + H(l,2)H(2,l)-5Ha,l) + f 

3 / = H(2 J l)CH(L t l) + H(2 J 2)- 5 ) 
z = H(2,l)H(3,2) 
for 是 = 0: - 3 

=lKMJS€([j：3J z] T ) 

q — max i 1 ， 是 1 - 

H(k + 1: 是十 = — ^irv' )H{k + + 

r = minU + 4» « 1 

H( 1 - r, ^ + 1' k + 3) = H(X r t k + 1:A + 3)( / — ^iru T ) 
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x = H(k +2, 々七 i) 
y = H(k+3,k-^\) 

it k<n-3 

z^H(k+4,k + \) 

end 


end 

I v,jS] = housed jc y] T ) 

H(n — \ ' n，n - 2 - n ) — {I — n 7 i ,n — 7 /- n ) 

H (1 ■ n y n — 1 '■ n ) — H {1 n , n _ 1 - « ) ( / — ^ w T ) 

这一算法需 10« 2 个 flop , 如果把 Z 显式计算成一个正交阵，则还 
需额外 10 n 2 个 flop . 

7.5.6 完整计算过程 


运用算法 7.4.2 约化 A 为 Hesaenberg 型，然后用算法 7.5.1 
进行迭代产生一个实 Schur 型是解决稠密的非对称矩阵特征问题 
的标准手段.在迭代过程中必须监视 H 的次对角元素以便发现任 
何可能的解耦.下面箅法具体演示了如何实现这 一点： 

算法 7.5.2 (QR 算法）给 定矩阵4 ”和比单位舍入误 

差大的允许误差 tol ， 本算法计算实 Schur 分解 G T AC = T . A 用 
Hessenberg 分觯覆盖.如果需要求出 G 和 L 那么 r 储存在 H 中. 
如果只是需求特征值，则 T 的对角块存在 H 中相应位置. 

用算法 7.4.2 来计算 Hessenberg 归约 
H = l/ 0 r Al7, 

其中… iv 2 .只要0是所需型泛= 6…，参看 
5.1.6 节. 
until q = n 
令所有满足 

I I ^ tol( | | + I */-1,^-1 I ) 

的次对角元素为0,找到最大的非负 g 和最小的非负/>使得 
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0 

H , 2 

Hn 

«13 

h 23 

_ 0 

0 

h 33 _ 

P 

n — p — 

q q 


这里 if 33 是拟上三角降且 H 22 是不可约的 .（ 注意 j 或 7 
可能为零）. 


if q<n 

对 f/22 构造一 Francis QR 步： H 22 = Z T H 2 2Z 
if 需求 Q 

Q = Qd[^(I p .ZJ p ) 

^22 = ^ 12^ 
h 22 = z t h 23 

end 

end 


end 

将 H 中所有特征值为实的 2X2 的对角块化为上三 SI 如有 
必要累积正交变换阵相似矩阵， 

如果需计算 Q 和 T ， 此算 法需 25个 fbp， 如果只需算特征值，则 
需10« 3 个 fb P . 这些 flop 数是很粗的估计，它们是基 T 这样的直 
观 经验: 平均每做一次低阶的 LX1 或 2x2 f 矩阵解耦，仅需两次 
Francis 迭代. 

例 7,5.3 如果算法 7.5.2 应用到 


A = 


2 3 4 5 
4 4 5 6 
0 3 6 7 
0 0 2 8 
_0 0 0 1 


6 

7 

8 

9「 
10」 


那么次对角元素有如下收敛 
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迭代 

0 (\ h 2x \) 

0(1^32 1) 

O(lbl) 

Oi \ h 54 \) 

1 

10° 

10° 

10° 

10° 

2 

10° 

1炉 

10° 

10 (| 

3 

10^ 

10° 

10" 1 

10° 

4 

10° 

10。 

i ( T 3 

10 3 

5 

10° 

10° 

!0 6 

10'弓 

6 

10 1 

10。 

10— 13 

10 - n 

7 

10" 1 

10° 

10 

10- 13 

8 

I 0 4 

10 n 

收敛 

收敛 

9 

10-8 

10° 



10 

10" 8 

10。 



11 

10 -16 

1 &' 



12 

10- 32 

10。 



13 

收敛 

收敛 




QR 算法的舍人性质是人们使用任何正交技术所期料的. 
计算得到的实 Schur 型 i'iH 交相似于靠近 A 的矩阵，即 
Q J (A + E)Q = T , 

其中 Q T Q = / il II E II 2 〜 w II A !| 2 .求得的 ☆几乎 是正交 

的，这是因为 = J + 其中 II FH 产广 

T 的特征值顺序多少有点任意，但正如我们在§ 7 . 6 中所述， 
利用互换两个相邻对角元素的方法，就可获得仟意排序 - 

7.5.7 平衡 

最后，我们应注意到，如果4的元素的数量级变化很大，则在 
应用 QR 算法之前，应对 A 进行平衡.这需要 OU 2 ) 次运算来计 
算对角阵 D 使得若 
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D l AD = 




则 II r ; 1 U 〜 He , 对角阵 f > 选成具有形式 D = 

diagC/? 1 ， …，〆 "）, 其中 /3 是浮点基数.注意，这样计算 D l AD 就 
可以没有舍人误差.当4被平衡后，计算的特征值常常会更精确. 
参看 Parlett 和 Reinsch(1969) . 

习 m 

7. S .1 证 明：若 H =0 T HG 是用[比执行一单位移 QR 步而 

L y z 」 

获得的，则 I 瓦 31 I <丨丨 /[ U , - s ) 2 + Y ]. 

7.5.2 给出求 2 X 2 对角阵 D 的格式，这里 D 使得 |j D 1 AD l | f ，最 

小，其中4 

Ljy a ： 」 

7.5.3 试解释单位移 QR 步 1/- 〆 = (/»，互=«(； + 〆 是怎样隐式执 
行的.即表明不用从//的对角线减去…矩阵 H 到 H 的变换是怎样进行的. 

7.5*4 设 H 是上 H ^ enber ^ 阵且我们用列选主元的 Gauss 消去法计算 
分解 =1^7.( 见算法4.3.3)证明：1?1= (/(PD 是 t Hessenberg 阵且相 
似亍 H . (这是修正 LR 算法的基础 ， ） 

7-5.5 证 明：若 H =//(> 给定且我们由扣 -料1= VJt kt H k + ^ R k V k 
+ W 产生矩阵巧，则 

( l / r-R )(*/■-»]) = ( H - 川 I)… (H - 巧 I ). 

本节注释与参考文献 

实用 QR 算法的发展起飴于下面这篇重要论文 
H.RutishaxJiseT( 1958). "Solution of Eigenvajye PioWema with the LR Transformation, M 
Nat . Bur . Stand, App. Math • Ser ， 49 ， 47 — 81. 

然后，上文描述的算法被“正交化'见： 

J G, F. Francis(1961). “The QR Transformation : A Unitaiy Analogue to the LR Transfor¬ 
mation t P^rts I arid IVComp ■ J , 4 T 265—272 ， 332 一 345. 

关 于实用 QR 苒法的论述可见 Wilki_U%5) 和 Steward 1973), 及 Watkins 
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(iw 】） . 也 町见： 

D, Watkins and U. P ： lsncr( 1991). "CK^ing AlgoriLhins for the Eigenvalue Problem ,'"SIAM 
J, Matrix Ajial. Appl. 12 *374—384. 

D. S. Watkins and L. Klsncr( 199 L) “Convergence of Alguiithtns of Decomposition Type for 
the Eigenvalue Problem，- Alg. and its Appiuatiort 143,19 — 47. 

J r Erxiong(l992)/'A Note on the Double. Shi ft QL Algorithm，” H Atg. and Its Applt- 
iution J7M21—132. 

LR 和 QR 方法的 Aigol^^W .： 、 

R.S, Martin andJ.H, Wilkimfon( 1968). “The Modified LR Algorithm for Camples Hesscn- 
ber^ Matrices, 1P iVu/wr, Math . 12 + 369 — 376. 也可见 Wilkinson and Reinsch( 1971 1 
3%—403 页）. 

R r S. Martin,G. Peters, and J. H. Wilkinson (1970) “The UR Algorithm for Reiil Hessen- 
berg Matrices t " Nunier , Math 」 14 ， 219 — 231, 也可见 Wilkinson and Rdnsoh (1971, 
359—371 页乂 

有关平街 N 鹿方面下面文章讨论到： 

E. E, Osborne(1960). "On PrcoonditiotiinR of Matrices 1 ” JACM 7 338 — 345, 

B. N, Parlelt and Cr Rcinsch{ i% 1 ?), "B&bincing a Matrix for Oiloulation of Eigenvalues and 
Eigenvectors, n Numer. Maih . 13.292 —304[ 也可见 Wilkinsun and ReinscK ( 1971 7 
315—326 页 ）. 

髙性能特征值求解的论义 包括： 

Z,Bai and J.W, Dernjnel(1989}. “On a Block Impltanenration of Hessenherg Multishift QR 
Iteration，” o /High Speed Chmput r 1 ,97 — 112. 

G, Shroff{l99l). *'A Parallel Algorithm for the Eigenvalues and Eigpnvectots of a General 
Complex Matrix, PT Nutter. Math . 58 y 779- — 806. 

R. A, Van De Geijn(l993), "Deferred Shifting Schemes for Parallel QR Methods, M Si AM 
j, Matrix Anai , Appl . J4 ^ 180^194. 

A. A.DubrxjJle and G. H. Golub(1994 ) 广 A Multishift QR Iteralion Without Computation of 
the 5h\k^^ Numerical Al^rithms 7 t l73—131, 

§7.6 不变子空间计算 

一旦实 Schur 分解 Q t AQ = T 已算出，几个重要的不变子空 
间问题就能解决.本节我们讨论如何 

• 计算与 MA ) 的某个子集所对应的特征向量 
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• 计算给定不变子空间的正交基 
* 用良态相似变换将4块对角化 
•计算特征向置的一组基(不管它们的条件），以及 
• 计算4的相似 Jorden 标准型 

稀疏矩阵特征向量和不变子空间的计算在別处讨论.参看 §7.3 
以及第八章和第九草的部分章节， 

7.6.1 由逆迭代计算选定的特征向量 

令是给定的2范数下串位向量并设 
非奇异.下面算法称为逆 迭代： 
for 是= 1,2，--- 

解 ( A — 〆 ）=⑷=/ -1 > 

q {k) = z ik) j || z {k) || 2 (7.6.1) 

X ^ = g ^ Aq ( k ) 

end 

逆迭代就是应用到 ( a - yr 1 上的幂方法. 

为了分析 （7.6.1) 的表现，设 4 有一组特征向量基 | A ，…， 

} 且对 i = 1 ■ n , A . x t — A ( j ： t , 如果 

v o) = S t 

i = l 

则是单位向量，其方向为 

u -” 

显然，如果 P 比其他特征值更靠近则只要岛垆 0， g ⑴含: r , 方 
向的成分就非常多. 

(7.6.1) 终止条件的例子是只要余量/ a) = (4 — ⑴满 
足 

II r ⑴ IU < c « || A ||«> C 7.6.2) 

就终止，其中 c 是量级为1的常数.由于 
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(A + E k ) q { k ) ^ M q ik \ 

其中 仏二 和 V 。是邻近矩阵的 
精确特征对. 

反选代可以与 QK 算法一起用： 

•计算 Hessenherg 分解 VqAU ^ = H 
• 应用隐式双位移 Francis 迭代于 H (不用累积窆换阵） 

• 已求得特征值 A , 欲找相应特征向量 _ r ，应用 （7. 6.1)，令 
A 二 = 产生一个向量2：，使得 ff ；!： 

•令 X = 1/ 0 ^ 

H 的逆迭代是很经济的，这是因力：（1)在双 Frands 迭代过程中 
我们不必计算累积变 换阵； （2 ) 我们只需 （) U 2 ) 个 flop 就能得到 
H XI 的分解矩阵 .11(3) — 般只需一次迭代就能产生一个足够 
近似的特征向量. 

这最后一点也许是逆迭代最有趣 的方幽 ，且需要作些证明， 
因为如果 A 条件坏，它可能相当不精确，为简单起见，设 A 为实 
R 令 


h — XI = ^hu t v, = r/xv 1 

' / - I 

是 H - Af 的 SVD, 从 7.5.6 小节中我们所讲过的 QK 算法舍入性 
质知，存在一个矩阵 Eei "使得 H + £- A / 奇异月 . || £ || 产 u 

II H j | 2 ■可以得出 且 ：j (H — Xl ) v H II ， 即 是好 

的近似特征向量，很显然，如果初始向量 g ⑻有展式 

，)= 它7此， 

1-1 

则之 (1 ) =芝] 就有“很多，、方向的成分.注意，如果 s ⑴々 

,=i 1 

I I 小,则 z ⑴在…方向 h 严重缺少.这解释了（凭经验）为什 
么再来一步逆迭代+大可能产生更好的近似特征向量，当 A 是坏 
条件时尤为如此.欲知详情，请看 Peters 和 Wilkinson( 1979). 
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例 7.6.1 矩阵 


A = Lia- iJ 

有特征值幻= 0.999 卯和； l 2 = 1.00001, 且相应特征向量为 .n = 
[1， - ID 5 ] t ^ 2 - [1,10 5 ] T 两个特征值的条件数均为10 5 数 
量級，近似特征值# = 1恰是 A + K 的特征值，其中 

r a oi 

E = I L 

这样，当用 10 位浮点数运算时 4 的精度是用 QR 算法计算特征 
值典型的精度. 

如果(7.6.1)中用初始向量^ 0> 7[0,]]\则 
II 匈⑴-押⑴ IU =10 —' 然而，再算一步却产生 q ( V =( 0 , l] T t 
II Aq ⑵- fjq {2) || 2 = 1 ， 此例在 Peters 和 Wilkinson ( 1979 ) 书中讨 
论过. 


7.6.2 在实 Schur 型中对特征值进行排序 


再次指出，实 Schur 分解给出不变子空间的信息.如果 


Q t AQ - T 


^11 ^12 p 

_0 T 2 i\q 
p q 


且 A ( 1^)11 X (722) = 0，那么0的前/>列张成-个与 A (. T U ) 相 
对应的惟一不变子空间（看 7.1.4 节）.可惜， Fnmcis 迭代只是给 
了我们一个在对角线 TV t 特征值随机出现的实 Schur 分解 


q } aq f = t f . 如果我们需求一个不变子空间的止交基，而相关 


特征值都不在7> 对角线的上部则会产生问题.很明显，我们需要 
一种方法来计算正交矩阵使得是特征值按适当顺序 
排列的拟上三角阵. 


看看 2 X 2 的情形，我们就能明白如何实现这一点-设 
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QfAQ f = T f 


Ai 关 A : 


且我们希望颠倒特征值顺序.注意= 其中 


" = Lu.j ‘ 


令 0 D 是 Givens 旋转变换，使得 Qlr 第二个元素为零.如果0 
㈣ D ， 则 

^ Q Tj ^Q )^1 - = ^2Qd(Ql^i) = ^2 e l' 

于是 Q r AQ 一定具有如下 形式： 

。下一 r ^2 ± ^ i 2 i 


Q t ao 


0 A 


假定在对角线上没碰到 2 X 2 矩阵块，则通过应用这一技巧系统地 
互换相邻特征值，我们就能把; UA ) 的任意子集移到 r 的对角线 
最前面. 

算法 7 . 6.1 给定正交阵，上三角阵 T ^ Q r AQ i 
及 A ( A ) 的于集 A = Ui ，…， A /， 本算法计算一个正交降 Qd 使得 
QITQd = s 为上三角年且 1 = 4 ,矩阵 0 和 T 分别被 
泌和$覆盖 ■ 

while ! f u , . . . , tpp \ 7 ^ A 
for 是=1: - 1 

if tkk ^^ 和 hunnGA 

[c^]=givens(T(^^ + l) t T(^ + l^ + L)-T(^^)) 


T(k"- k + \ t k'- n) 


T(k - k + l t k • n) 


T(Uk + l t k-k + \) = T(l：k + l,k：k + l) 


Q(\-n,k-k+A) = Q(Vn,k：k + l) 


end 


- s c 
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end 

end 

这算法需 M 12 W 个 flop , 这里 A 是所需交换总次数.整数6决不 
大于（巧 - p 、 p . 

当了 的对角线上有 2X2 块时，交換变得稍为复杂.欲知详 
情，请看 Ruh e (I970) 和 Stewart(1976), 当然，这些互换技巧可用 
于特征值排序，比方说按模从大到小排列. 

通过进行实 Schur 分解来计算不变 f 空间是非常稳定的.如 


果记 2 = …， h ] 为所汁算的正交阵 g ， 则 II Q t Q -i\\ 2 ^ 
«, 且存在矩阵 E 满足 II iil 产 U !| A IJ 2 使得对/ ; I :户有 
(A + E)^6span|^! , A p \ . 


7*6.3 块对角化 


T u 

r l2 - 



0 

T 2 2 ■* 

• ^ 

”2 

0 

0 -■ 

* 



(7.63) 


«i n 2 n q 

是某实 Schur 标准型 Q r AQ = T e 的分划，它满足 

A ( T„) ，…， A ( r w )* 相交，由定理 7.1.6 存在矩阵 F 使得 


y L TY = 现在，我们给出计算 Y 的实用算法 


以及 Y 的敏感度（作为以上分划的函数)分析. 


将= [ Ei ，…，匕 ] 与 r 相符分划 a 定义 h 〜如下： 

yu - + £试， t < j , z 0 e 

换句话说，除了 a 取代（心）块位置外，匕看上去就是单位阵，由 

此推出如果17 =;二（％ ) 则 r 和 f 除 r 

： TfjZij - Z^Tjj + T tjr 
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= T, k - Z rj T jk (k = j ^ i ： q ), 

% = r hi Z h + T kj (k = l ： i - 1 ). 

之外都是一样的，这样，只要我们冇算法可求解 Sylvester 方程 

FZ - ZG = C , (7.6.4) 

其中1 ^ x ^ ? Ge ' 〃足给定的拟上二角阵及'，则 L 
能被化为零. 

Bartds 和 Stewan(1972) 设计了解决此问题之方法 .^ C = 
[q , G ] 和 Z = [ 2 1,…，心]按列分块.如果沿+丨』= 0，则通过 
比较 (7.6.4) 中的列我们有 

Fz k - XI Sth^i = C h 

这样，一旦我们知道则我们可解拟 H 角阵系统 

(f - ^kJ)^k = q + X! gtk^> 

得到厶.如果 A + 1 >关0,则通过解 2p X2p 方程组 

r F - gkj - g tttk J ][ 叫 

L - 只 k，J f - ■画 7 」 U /w 」 

= 卜] (7.6.5) 

同时求得 q 和 q u . 上式中出=是+ 1.按照排列（1,/> + 12,户十 
2,…，〆 2p) 重组这些方程，就可获得一个用0(〆）个 flop 就可 
求解的带状方程组.可在 Bartels 和 Stewart( 1972 ) 中找到具体细 
节.以下是当 F 和 G 均为三角阵时完整的算法过程. 

算法 7,6, 2(Bartels-Stewart 算法）给定 ，上三角阵 
FG 和满足乂（ /0门4(<?)=0,本算法用方程1^ 
- ZG 二 C 的解敦 AC . 
for k = l ' r 

Ca-.p f k) = C([ ： p y k) + C(\^pA-k - l)G(l ： k-l,k) 

从 （F - GU，々）J) 之 = C：(l:/>j) 解出 Z 
C (\-p r k)^z 


. 



end 

此算法需要 pr(p + r ) 个 flop . 

将丁的上对角块以适当的顺序化为零，整个矩阵就能归化为 
分块对角型. 

算法 7.6,3 给定一个正交阵 Qe :' — 个拟上三角阵 
且有(7.6.3)的分块，下面的算法用卩1^覆盖 Q ， 其中 

for j = 2 - g 

for = 1 - j - 1 

用算法 7. 心2解 T U Z - ZT }} = - T ; ，求出 Z 

for ^ + 1 - q 

T ^ T ik - ZT jk 

end 

for ^ = 1 

Qkj = Qki ^ 4 Qkj 

end 

end 

end 

诙方法所需的 fbp 数是 (7.6.3) 中分块尺寸的较为复杂的函数. 

实 Schur 型 r 及其在 （7. 6. 3) 中分划的选择，决 定了 在算法 
7.6.3 中必须求解的 Sylvester * 程的灵敏性.这就影响矩阵 Y 的 
条件和分块对角化的整个有效性.有这些依赖关系的原因是方程 


T iV Z - ZT i} : _T h (7.6.6) 


的解2的相对误差满足 

\\z -7 A\ f II rll f 

II Z || 〜 “ sepdW 

欲知详情，请看 Golub，Nash 和 Van Loaii ( 1979) .因 

〜一 .11 T If X - XT it II ^ ■ 

se P (U)u || X || F 、飄 ) U-d 
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只 要了集 A ( T jt ) 没被足够分离，精度就可能严重丢失.时且， 
如果 Z 满足 (7.6.4), 则 

| 7 || < — " I 。 . " F 

1 7 11 F 、 sep(U). 

这样，如果 se P ( l .，) 小,那么大范数解将是意料之中.这就使得 

在算法 7.6.3 中矩阵 Y 变成病态，因为 Y 是矩阵^ 之 

积，注 意：即 （ h ) 二+ I ； Z || 2 f . 

面临这鸣困难， Barely 和 Stewart ( 1979) 提出厂一个分块对角 
化的算法，它动态地决定 （7.6.3) 中的特征值顺序和分块.使得算 
法 7.6.3 中所有 Z 矩阵之范数不超过用户给定的界.他们发现通 
过控制的条件可以控制 Y 条件. 

7.6.4 特征向置基 


如果分划 （7.6.3) 中的每块都是 IX 1块，则算法 7.6.3 产生 
一组特征向量基.与逆迭代法 样 .计算出的特征值和特征向量对 
士:好相对某一“邻近”矩阵是精确的.广泛采用以下规则来确定适 
当的特征向量方法 ：每当 想要的特征向量少于25%时，就使用逆 
选代. 

但是，我们需指出实 Schur 型也可用来计算指定的特征向量. 


设 


T n 

q t aq= 0 
_ 0 


« k ~ \ 

X 1 

0 T_J ^ - k 


k — \ 1 71 — k 

是拟上三角阵且； l 钇 A ( T U ) UA (7^) .由此见，如果我们解线 
性方程组 （ Tu — 和- - a 则 


Q 

ZV 

1 

和厂 e 

0 _ 

1 


- 0 ,. 


-Z- 
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是相应的右、左特征向 注意： A 的条件数为 

1 /.^ ( A ) = vT "* + u - 1 tcO ( 1 + : 1 z ) ■ 


7.6,5 确定 Jordan 块结构 

设我们已求出灾 Schur 分解 A = QTQ \ 已确定厂‘相等”特 
征值组且计算了相应的块对角化 iH 
如我们 Q 讨讼,这是一个艰巨的仟务.然 [ fli ， 如果我 们试闱 去确定 
每个 T ,., 的 Jordan 块结构，就会碰到更大的数位问题.简要考察迭 
些难点是为 r 说明 Jordan 分解的 R 限. 

为清楚起见，设 A ( T ,) 为实数.归化 T n 'k Jordan 型，先用 
C = AJ + JV 的矩阵来代昝7^,其屮 N 是 t 的严格上三角部分 ， A 
为其特征值的平均值 . 

回想到 Jordan 块,7 (A ) 的维数是侦 [J ( A ) - ]* = 0的最小 

非负整数.这样，如果 A = dim [ null (/ V )], ? 二()、，则九 - A-i 
等于 C 中维数大于或等于；的 Jordan 块的数0 .—个只 - 体例子有 
助于弄清楚这一断言和说明 SVD 在 Jordan 型 M 算中的作用. 

设 C 是7 X 7許.假设我们计算 SVD 为 U /' jW , - X , R “发 
现” N 之秩为3.如果我们将奇异值从小到大排，则可_得出矩阵 
N , = V ^/ VK 型状如下 


4 3 

迭样，我们知道 A 的儿何重数为4，也就是说， C 的 Jordan 型冇4 
块 （Pi _ / >o = 4-0 = 4). 

现在设 UjLV 2 = 2； 2 是 L 的 SVD 11 我们发现 L 的秩为 I . 
若我们又一次将奇异值按从小到大排，则= VjLV z 很明显有 
如下 结构： 

「0 0 a " 

_L ，= 1 0 0 l). 

UO 0 cJ 
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然而 X ( L 2 ) = k ( L )^ 10,0,01 .这样^ =0. 所以，如果 
\’2 = diftg ( I4 • V ? ) f 
则\ 2 = vl / Vih 具有形式： 

0 0 0 0 x x x 

0 0 0 0 x x x 

0 0 0 0 x x ' 

N 2 = 0 () (t 0 X X X 

0 U 0 0 0 0 ti 

0 0 0 0 0 0 h 

0 0 0 0 0 oJ 

除 了允昨 我们在二角块 产生更多零外 的 SVD 也使我们能推 
出 N 2 的模空间维数.由于 

0 KL1 _ '0 Kiro K1 

0 £ 2 」'0 jJLo />」' 

是列满秩， 

p2 = dim ( nul 1( A r2 )) ~ dim ( null ( iVf )) 

= 4 4 dim(nullCD) = p\ + 2. 

这样，到此我们能断定 C 的 Jordan 型至少有两个维数大于或等于 
2的块. 

最后 ，容 易看出 iVf 二 0. 由此可推得有 户 2 = 7- 6 = 1个 
维数大于或等丁 3的块，若我们定义 F = V t L /, 则可得知分解 




'A 0 0 0 x 

0 A 0 0 x 

0 0 A 0 x 

V T CV = 0 0 0 A x 

0 a 0 0 a 

00000 
-0 0000 


卜 4 块阶为 1 或更人 

x I 

I 

X ' 

U o h 块阶为 2 或更大 
aJ 丨 1 块阶为 3 或更大 


显示” C 的 Jordan 块结构 :2 块阶为 1，1 块阶为 2，1 块阶为 3. 
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计算 Jordan 分解必须求助非正交变换.关于这类约化，我们 
建议读者参考 Golub 和 Wilkinson( 1976 ) 或 Kagslrom fQ Ruhe 
(1980a，1980b). 

上面 SVD 的计算充分显取 f 每步都要困难地决定秩以及 M 
后计算出来块结构严重依赖于那些决定.侥幸地是，在实际应用中 
儿乎总是能用稳定的 Schor 分解来代替 Jordan 分解. 


习 题 

7.6.1 试给出一算法用来解决一个实的 ， nx «阶的上拟=:对角方程 
组 : Tr = 6 ■ - 

7.6-2 设，…，〜）且 证 

明■■若 BX ， 则 A (» = + 二二 1 :W ■ 请问，相应特 

征向量是什么？如何用这些分解来求解 AX + XB 二 C ? 

7.6.3 证明若 ^则 h ( r > = [2+^ 十 /^ T 7 4 ]/2, 其中 tr 

=II Z I! 2- 

7.6.4 导出 （7. 6, 5) 式， 

7-6.5 设 rGS flX )1 是分块上三角阵，其分划如> : 

~T U T n T l3 - 

t = o T22 r 2i , re R nX r 

. 0 0 TV 

假定对角块 r 22 是 2 X 2 的，其特征值是复数且与 MTn ) 和 A ( Ty ,) 不相交， 
试给出计算与 ra 的特征值所对应的2维实的 不变子 空间的算法. 

7 .6.6 假设 ff 6队 rtif "是具有复特征值 A + ia 的 h Hessenberg 阵，怎样 
用逆迭代来计箅 UOT 使得 HU + b )=( A + i U )(i + i 3 r >? 提示： 比较等 
式实数和复数部分，就得到一个 2 nX 2 n 实方程组. 

7.6.7 ( a ) 证明：如果 / zoGC 有非零实部，则迭代 

在 Re (^)>0 时收敛到在 Ke (" o )<0 时收敛到 -1. ， 

( b ) iA € C " x 〃 是可对角化的，且 
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\ D , 0 1 

A = X X- 1 , 

L 0 D _」 

其中 ev x ~ o . w 分别是特征值位于右半开平面和左半 

开平面的对角阵 * 证明迭代 

n — 十七 1 )，^0 ~ ^ 

收敛 ® Ugn(A)Ex|"? r ° X' 1 . 

L 0 _ J ” 」 


W =[ T 巧 二具有性 质:机)在 右半升平面且 

p n- P 


MiWu) 在左半开平面 证明： 

y \h Z 

—( 叫。 -U 

且 - Z/2 是 M U X~ XM 12 = - Af 12 的解■这样， 

Lo L o 


o _ 

M n . 
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§7.7 Ar 二 Aftx 的 QZ 方法 

令 A 和 B 是两个矩阵.所有型如 4 - AB ， AGC 的矩阵 
集合称为束.束的特征值是集 A ( A ，£0 的元素，定 义为： 

A (A ,B) - I s ： G C ； dct(A - ) = 0( . 

如果； LG / UA , B ), 且 

Ajc — XBjc t .r ^ 0, (7,7.1) 

则 : r 称之为 4 - AB 的特征向量 _ 

本节简要地综述广义特征问题 (7.7.1) 的某些数学性质，并为 
解决这个问题提供一个稳定的方法.在 8.7.2 小节中讨论 A 和 B 
都是对称阵且后者正定的重要情形. 

7.7.1 基本知识 

观察广义特征值问题的第一件事是：当 R 仅当 rank ( B ) = « 
时它存在 w 个特征值.如果 B 为秩亏损阵，则 A (4， B ) 可能是有 


限集，空集 ，或无限集. 


[i 

;]， 

Lo 

O ' 

0- 

{ A ,B) — ! 1 

[: 

;]， 

；o 

^ L 0 

1 

0- 


f 1 

2 1 ， 


0 

Ua ( a , b)-c 

Lo 

oJ ， 

LO 

0 



注意到，若 ㈣ A (4 则 A ( fl ， A ), 此外，如果 B 为非 
奇异阵，则 A ( A f B ) = A ( B - 1 A t J )- A(B l A ). 

上面观察为 B 非奇异时，提供了 一个解 A - AB 问题的 方法： 
•解 = A 束出 C ， 比方说可用列选主的 Gauss 消去法 
•用 QR 算法计算 C 的特征值* 

注意 ， C 将受到量级为《 II A || 2 * )1 B M || 2 的舍人误差之影响■如 
果 B 是病态阵，则这就排除了精确地计 算任何 一个广义特征值的 
可能性^—~包括被认为是良恣的特征值 - 

例 7.7.1 如果 

M .746 0.9401 [ 0.780 0.5631 

A 二 [ L 246 1 . 898 」， " U . 9 L 3 0 . 659 卜 

则 A ( A , B ) 二1 2 , 1.07 x 10 b i ■用7位浮点运算，发现 
A (/ 7 ( AB - 1 ))= U - 562539 , 1.01 x 10 6 }，小特征值精度很差的原 
因是10 6 .另一方面，我们发现 

A ( r ,/(4~' B )^ I 2.00000 M *06 X 10 6 j . 由于 a - 2 ( A ) 义4, 
小特征值的精度被改善了. 

这个例子提醒我们去寻找其他解 A - AU 问题的方法■一个 
想法是选取良态阵0和 Z 使得矩阵 

H lAZ ， （ 7 . 7 . 2 ) 

B x = Q l BZ 

都是标准型.注意到，从 

AX - -- = Zy , 

可知2(八，5) = 1(41，仏）.如果（7.7‘2)成立且0和 Z 非奇异， 
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我们就说4 _ AB 和…_ 柯个束等价 

7.7,2 广义 Schur 分解 

~标准特征问题 A - kj .样，在标准唱当中要有选择.与 
Jordan 彻类似的是 Kronechor 的分解，在此分解中和心都是 
块对角阵■这些块相似于 Jordan 块. Kronecher 标淮型面临和 Jor - 
dan 型同样的数值困难■然肌，这个分解的确能揭露束 4 m 的 
数学性质■咩见 Wilkin ^ n ( 1978)^0 Demmel , K % strom ( 1978). 

从数值观点来看，更吸引人的是由 Moler 和 Stewert (1973) 描 
述的下列分解. ' 

定理 7 . 7.1 ( 广义 Schur 分解）如果 a ,B^[' n ' Xr> ,则存在酉 
阵2和 z 使得= t 和 Fuz 二 S 是上三角阵.若对 某个匕 
〜和 W 都为零，则 X(A , B ) -= :: j 则 

a (4， b ) = I t„/ Sil : ^0}. 

证明令是收敛 : F 的一列作奇异矩阵，对每个 a , 令 
QlH AB k 1 ) Q n = R k 为 的 Schur 分解.令； ^ 是使杜 
'^ k l Qk )= Sk l 为上三角阵的 酉阵. 由此可见，如 二/ ^和 
(? 谀都是上三角阵. 

运用 Bolzanc ^ Weicrstrass 定理，我们知道有界列丨（仏，心）丨有 
收敛子列， 1 A ) = ( Q ，2), 易证2和 Z 是酉阵 R 0 h AZ 
和 0 h BZ 都是上三角.从等式 

detM - AB) =det((>Z H )lJ (^--^) 

即得到关 f A (4， B ) 的断言. ^ D 

若4 , B 是实阵，则对应实 Schur 分解（定理 7.4.1) 的下列分 
解是電 要的： 

定理 7 .7,2(推广的实 Schur 分解）如果4和 B 是 x ，阵， 
则存在正交阵0和 Z 使得是拟上三角阵且殳 T JJZ 是上三 
角阵. 
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证明 参看 Stewan (1972). □ 

仵本节剩余部分，我们考虑此分解的计算和它的数学内涵. 


7.7.3 敏感度 

广义 Schur 分解阐明 f A _ 问题的特征衍敏感性.很明 
显，如果&很小 t A 和 B 的微小变化能够导致特征值< 较 

大的变化.然而，如 S ^ warU 1978) 所说，认为这样的特征值是“病 
态的”是不恰当的.理由在尸其倒数巧二 " J 能是 M - B 束 
的性质很好的特征值.在 Stcwert 的分析中，力和8被平等看待 
R 特征值看成序对（~，〜）而+是商.按此观点，很合适片 I 弦度来 
度量特征值的扰动，弦度 chadU j ) 定义为 

chord (a ^b ) - -— z — S - ― : 

V 1 + * V 1 W 厂 

Stewart 证明； T 若 A 是义-⑶的单根且; l £ 是相应扰动束/ _ 

的特征值，这里 || A - A || 2 ^ HB - B || 产 e JJ 

其中 . r 和 v 都是2范数单位向呈，满足 Ar = ABjt 和 y 1 = . 

注意到， _ h 界的分母对4 ， B 是对称的.“真正”的病态特征值是那 
些使得该分母很小的特征值. 

对某个 k 、 t kk 二 ^-0 的极端情形已被 Wilkinson ( 1979) 所研 
究.他有一个有趣的观察，当此情形发生时，其他的商可假 
定为任何值. 

7,7,4 Hessenberg 三角型 

汁算 ， B ) 矩阵对的广义 Schur 分解的第- 步 是通过正交变 
换化 A 力上 Hessenberg 型， B 为上二角增.我彳 H 首先确定一个正 
交阵 t ；， 使得 V r B 是上二角阵，当然.为保持特征值不变，我们也 
必须用同- 正交阵 作用于 A . 让我们看看》= 5时是怎样发生的. 
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接着，我们在保持 B 为上三角阵同时，化 A 为上三角型. t 先，用 
Givens 旋转变换 Gv 消 Mi 为零： 



在 B 中（5,4)位置产生的非零元素能通过右乘适当的 （ givens 变换 
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~x 

X 

X 

X 

X 



X 

X 

X 

X 

X 

A = 

Q 2 V 二 

0 

X 

X 

X 

X 



G 

X 

X 

X 

X 



_a 

X 

X 

X 

X.. 



"x 

X 

X 

X 

x" 



0 

X 

X 

X 

X 

B = 

QlB - 

0 

X 

X 

X 

X 



0 

0 

0 

X 

X 



—0 

0 

0 

0 

X_ 



'x 

X 

X 

X 

X 



X 

X 

X 

X 

X 

A = 

AZ 2 j = 

0 

X 

X 

X 

X 



0 

X 

X 

X 

x ! 



_o 

X 

y 、 

X 

X 」 



'x 

X 

X 

X 

x~ 



0 

X 

X 

X 

X 

B = 

BZ 23 = 

0 

0 

X 

X 

X 



0 

0 

a 

X 

X 



_0 

0 

a 

0 

x_ 


A 的第一列已是[: Hesscnberg 型.将, «42和£^3清零，此 

约化则完成.很明显 ，要将 a y 化为零.需耍两个正交变换阵- 

个用于化零，另一个用丁'恢复 B 的二角形式.用 Givens 变换成2 
X 2 修正的 Householder 变换均可.总之，我 们有： 

算法 7.7.1 (Rosenberg —— h 三角型归化） 令 A 和 
，本算法计算上 Hessenberg 型阵 Q J AZ 和上三角阵 0 T BZ 
并分别覆盖阵 A 和 B ， 其中 Q 和 Z 是正交阵. 

用算法 5.2.1, 计算 () r B = R 并覆盖 fl ， 其中0是正交阵且 
为上三角阵， 

4二 Q r A 
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for j = 1 * /? - 2 


for / - 77 ■ - 1 ： j + 2 

;r , i- ] - givens (A (/ - l ,j ) ,A( ?',；)) 

A ( 7 - 1 ： / , j ： ?7 ) = [ 1 ] A ( /■ - 1 ： 7 ,； ： ??) 

H ( i — J : i , i - 1 ： ) = [ I H (i — 1 ： y ,! — L * « ) 

L — i. f 」 

[, i' ] = givens( - ^ ? w ), H (/, / - 1 )) 


- 1: 0 = B(l:“i -{■{) 

L - i' 


s 

c 


A ( 1 : ， / _ 1 : z .) 二 A ( 1 : ?7 ’ / _ 1 : / )[ 

end 


c 

—s 


s 


end 

此算法需 8« 3 个 fbp . 要把 累积算出来还分别需要和 

3« 3 个 flop . 

化4 为 Hcssenberg =角型用作一种广义的 QR 迭代， 
即下节要介绍的称之为 QZ 的迭代的“前期”分解. 

例 7.7.3 设 



「10 1 2" 


1 2 3" 

A = 

:1 2-1 

, B = 

4 5 6 


-1 1 2 J 


-7 8 9- 

且正交阵 <2和 Z 定义为 




"- *1231 - 

.9917 

.0378 _ 

Q - 

- .4924 

0.0279- 

-,8699 


,8616 

0.1257 

0.4917- 


" 1.0000 0.0000 0 . 0000 " 

Z - 0.0000 - 0.8944 - 0.4472 

XL 0000 0.4472 - 0.8944 - 

则 Ai = Q T AZ 且为 
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- 2,5849 

L 5413 

2.4221 " 

A! - 

- 9.7631 

0.0874 

1.9239 


- 0,0000 

2.7233 

- 0.7612- 


"- 8.1240 

3.6332 

14.2024] 

Bi = 

0-0000 

0.0000 

1.8739 


_ 0 . 0000 

0.0000 

0.7612」 


7.7.5 降阶 


不失一般性，在描述 QZ 迭代时，我们可以假定 A 是不可约 
上 Heisenberg 阵， B 为非奇 异上. 三角阵.第一个要求显然合理，因 
为若 q + i.jb = 0,则 

"^11 - 冰 11 ^12 - ^12 1 k 

A . 0 ^22 ~ AB22 — k 


k n - k 

从而我们只需求解两个较小的问题 A u _ AB U ^ A 22 _ AB 22 .另一 
方面，若对某个 6 冇则可把 A 的- 1) 位置的元素化 


为零，然后降阶 . 

h ‘ 面举例说明，设 n = 

= 5 f k- 

3 ： 





'x 

X 

X 

X 

x" 



[ x 

X 

X 

X 

x" 


X 

X 

X 

X 

X 



0 

X 

X 

X 

X 

A = 

0 

X 

X 

X 

X 

， B 

=i 

0 

0 

0 

X 

X 


0 

0 

X 

X 

X 



0 

0 

0 

X 

X 


_0 

0 

0 

X 

x_ 


i 

_o 

0 

0 

0 

X. 


用 Givem 旋转可以把 B 对角线上的零“往下推”到 (5*5) 位置. 


A = Q^A 


"x 

X 

X 

X 


X 

X 

X 

X 

X 

0 

X 

X 

X 

X 

0 

X 

X 

X 

X 

_o 

0 

0 

X 

x_ 
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"x 
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X 

X 



0 

X 

X 

X 

X 

B 

:: = 

0 

G 

0 

X 

X 



0 

0 

0 

0 

X 



.0 

G 

0 

0 

x_ 



'x 

X 
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X 



X 

X 

X 

X 

X 

A 

"== 

0 

X 

X 

X 

X 



0 

0 

X 

X 

X 



.0 

0 

0 

X 

x _ 



"x 

X 

X 

X 

x~ 



0 

X 

X 

X 

X 

B 

= BZ 2 3 = 

0 

0 

0 

X 

X 



0 

0 

0 

0 

X 



_0 

0 

0 

0 

x_ 



"x 

X 

X 

X 

x" 



X 

X 

X 

X 

X 

A 

- QU - 

0 

X 

X 

X 

X 



0 

0 

X 

X 

X 



_0 

0 

X 

X 

x_ 



"x 

X 

X 

X 

x~ 



0 

X 

X 

X 

X 

B 

二 QJ 5 B = 

0 

0 

0 

X 

X 



0 

0 

0 

0 

X 



.0 

0 

0 

0 

0_ 



'x 

X 

X 

X 

x' 1 



X 

X 

X 

X 

X 

A 

— AZ34 = 

0 

X 

X 

X 

X 



0 

0 
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X 

X 




0 

0 

X 

x _ 
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「X 

t ) 

B - bz 34 - I 0 
0 

1 

0 

Tx 

x 

A = AZ 45 - 0 

0 
.0 

r 'x 

1° 

B 二 BZ A5 = 0 

U) 
lO 


X 

X 

X 

y 

X 

X 

X 

X 

0 

X 

X 

X 

0 

0 

0 

X 

0 

0 

0 

0 

X 

X 

X 

x" 
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X 

y 

X 

X 

X 

X 

X 

0 

X 

X 

X 

0 

0 

0 

X 一 

X 

X 

X 

X — 

X 

X 

X 

X 
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X 

X 

0 

0 

X 

X 

n 

0 

0 

0. 


这个岑追逐技巧完全是通 用的. 不论零出现在 B 的对角线仆么位 


tt ， 均可将;化为零. 


7.7.6 QZ 步骤 


现在，我们來描述 QZ 步.其基本思想是把 A ， B 作如下的变 
换： 

(A - XB ) ^ Q X {A - AB ) Z , 

其中了是上 fWnberg / B 是上二角划 ，豆和 之均为正交阵，灶 
AB 卜本质上”和将 Francis QR 步骤（算法 7.5.2) 应用于 AB _ 1 
所产生 的矩阵是同-个矩阵，我们用若干巧妙的零追逐技术以及 
求助于隐式 Q 定理可以做到这一点. 

令 M = AB _1 ( h Hes^nberg 型 ） 11 令 w 足矩阵 （ M - 〉（ M 

-61) 的第列，艽中 a 和6是 M 下方 2 X 2 r 矩阵的 特征值.注 
意，可用 mi ) 个 fio P 计算出^.若 心是使 p 0 ^' 为 o 之倍数的 
Huuseholder 阵，贝 !j 
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A = PfiA 


0 0 0 X 
0 0 0 0 


" OOOxxy 

] 0 0 0 <.) X x I 

1.0 0 0 0 0 x1 

现在的思路是通过往下赶对角线之下多余的非零儿来把这两个矩 
阵分别恢复到 Hessenberg 别和2角型. 

力此，先确定一对 Householder 阵和 Z : 将、6：^和心 21 
化 为零： 


A = AZ t Z 


0 0 0 X x 

.0 0 0 0 x 


X X X X X 


B = BZ：Z 


0 0 X x 


Lo 0 0 0 0 

然后，用 Householder 阵 P] 将和化为零： 


• 445 . 



A = P[A = 


B = P V B = 


「X 

1 

X 

X 

X 

X 

x" 

1 

X 

X 

X 

X 

X 

X 

0 

X 

X 

X 

X 

X 

0 

X 

X 

X 

X 

X 

0 

0 

0 

X 

X 

X 

_0 

0 

0 

0 

X 

x_ 

"x 

X 

X 

X 

X 

y: 

0 

X 

X 

X 

X 

X 

0 

X 

X 

X 

X 

X 

a 

X 

X 

X 

X 

x i 

0 

0 

0 

0 

X 

x l 

_o 

0 

0 

Q 

0 

X J 


注意到，至此不想要的非零元已从它们的原来位置向右下方 
移动.这描述 qz 算法的一个典型步骤.注意到 2 = a , 2 

和 Go 有相同的第一列，根据初始 Hou^holder 阵的确定方式，我 
们可以利用隐式 Q 定埋，断言 AB l = Q T (AB l )Q 的确“本质 
上”与直接将 Francis 迭代用于 M = 所得到的矩阵是同一矩 

阵.总之我 们有： 


算法 7.7.2( QZ 步）给定不可约上 Hessenberg 阵 A 6 
和非奇异上三角阵 BGF "' 本算法用 Hessenberg 阵 Q T AZ 和 
上三角阵分别覆盖4和 B ， 其中 a 和 Z 为正交阵，而且 a 
与应用于之算法7.5」的正交相似变换阵有相同的第1列. 
令 M 二 4 B -1 ， 计算 = U ， u ，0, …， 
0 ) T 其中 u 和6为 M 的右下角 2 X 2 的主子阵的特征值 
for 是 =1: 一 2 

找 Householder 阵 Q 使得必[: * 0 0]' 

A = diag (h i ， Qk ， I ” - 2M 
B = diagC h-、、Qk 山 - 4 - 2 ) 召 
找 Householder 阵 Z 纟 i 使得 

b k + 2，+ \ ^jb f 2,jt < 2 ]^! ~ [0 0 * ]. 
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A ^ Adiag( h -I* Z kU l n k - 2 ) 
B - BdiHgih- { ,Zi：i ^ I tl - k 2 ) 
找 Householder 1^- 心 2 使 

[〜+ 1,是〜+1 > 扣+1]々2=[0斧] 

A — A diag{ l k - i ^Z k2 ， h ■卜 1 ) 
R —B dlag ( I k -] y Z k2 ^ n - k 1 ) 
r = ^k + \. k ^ y^ a k + v,k 
if k<n—2 


end 


end 

找 Householder Q rl , 使得 Q„ _ ] 卜 

L y 

A = diag( I n -2-> Qn -1) A 

找 Householder Z n - 1 使得 
[办 m - L - ! — [ 0 * ] 

A ^ A '6\ ag ( I ^-2， Z tl - i ) 



B = H*diag (/ TJ ^ 之 ^」) 


这个算法需 22W 个 flop. 累积 G 和 Z 分别需额外的 8, 和 13n z 
个 flop, 


7.7.7 完整过程 

把一系列 QZ 步骤应用到 Heisenberg 三角型的 A-AB 束，就 
能将 A 化为拟三角型 . 在运算中，有必要监视 A 的次对角元和 B 
的对角元，若有可能就进行分离 , 完整的过程（由 Moler 和 Stewart 
(1973) 提出）如下 . 

算法 7.7.3 给定 AG 本算法计算正交阵 
Q 和 Z 使得 Q 丁 AZ = T 为拟上三角阵且 0 T BZ = S 是上三角阵. 
T 覆盖 A ， S 覆盖 
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用算法 7.7.1 计算 Q r AZ (上 Heisenberg 阵）并覆盖 A 和 
覆盖 B (上三 角阵） 


until q = n 

令所有满足 



1 1 

< e( 1 

i , f-i 1 + 1 ) 

的次对角元素为零找到最大非负值 

q 和最小非負值 P 使得 

如果 






Ail 

A 12 

A 13 ' 

P 

A - 

0 

^22 

^23 

n - p - q 

i 

_ t ) 

0 

心― 

q 


P 

n — p - 



则 A $ 是拟 上三角 阵且 A 」 不可彡 3 化为上 Hessenberg 阵，把 

B 适当分划如下： 





B n 

B 】2 

B i3 

P 

B = 

0 

^22 

B 23 

n - p — q 


_ 0 

0 


n 


P 

n — p — 




if q<n 

if B22 奇异 

a 7> 

else 


则 

_ q i 为零 


在 A 22 和 Bn 上用算法 7.7.2 
A=dii i g(I pt Q^ ti y i 'Adi li g(I pt Z.l cl ) 
B = 6 mg { I pf Q , I q ) T Bdmg ( 

end 


end 

end 


此算法需 30« 3 个 fbp . 若 0 需求出，述需额外的16,个 flop , 若 
想要 Z 则还需20« 3 个 flop . 这些工作量的估计是基于每个特征值 
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约需两个 QZ 迭代这个经验.这样， QZ 迭代的收敛性质和 QR 迭 
代 样 .QZ 算法的速度不受召秩亏损的影响 - 
4以证明，计算得到的 S 和 T 满足： 

eJ(A + K)Z 0 = T.QliB \ F)Z () = S, 

这里 Go 和 Zo 为精确的正交阵，而 il E 1 2 ^U li 4 il 2 月 II F II 2 
II B II 2- 

例 7.7.5 若 QZ 算法应用到 

「2 3 4 5 6 — 

! 4 4 5 6 7 


A 


B 


1 — 1 — 1 — 1 
0 1 -1-1 


0 


0 


1 - 1 


LO 0 
则 A 的次对角元素收敛如下 


迭代 

Oi\h 21 \) 

Oi\h i2 \) 

◦ (iA 43 !) 

0( i 1 ) 

1 

1 妒 

H) 1 

10° 

io- 1 

2 

10° 

10 。 

10° 

ltr 1 

3 

10° 

ltV 

icr 1 

KT 3 

4 

10° 

10 w 

10 _1 

10 K 

5 

1 沪 

10 1 

10 _1 

10 16 

6 

10 w 

10^ 

\o 2 

收敛 

7 

10° 

ltr 1 

ltr 4 


8 

10 1 

1CT 1 

JO" 8 


9 

10° 

10 1 

10 
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续表 


迭代 

0( IU) 

o(\h^\) 

o(\fuv) o()a 54 I) 

10 

10° 

I 0- 2 

收敛 

11 

10— 

10" 4 


12 

10勺 

10- 11 


13 

10 3 

10- 27 


14 

收敛 

收敛 



7.7.8 广义不变子空间计算 

§7.6 中所讨论的许多不变子空间计算都可推广到广义特征 
问题.例如，可以由反迭代求近似特征向量： 

给定 

for m ‘‘ 

解 (4 

规范 化:/ wn / u ⑴ ij 2 
入⑴二 [9 ⑴] H Ag ⑴/ H A 9 ⑴ 

end 

当 B 为非奇异阵时，这相当于将 (7.6.1) 应用于矩阵如果 
"为由 QZ 算法计算出来的近似特征向量，一般只需一次迭代.通 
过对 Hessenber ^ 三角型束进行逆迭代， QZ 迭代过程中累积 Z 的 
高代价可以避免. 

类似于单个矩阵不变子空间的概念，我们对4 - AB 耒有降 
阶子空间.具体地说，如果了-空间|如十83/:^：，：^5|的维数小于 
或等于込我们就说 （ 维子空间对4 - AB 束是“降阶”的. 
注意,在广义 Schur 分解中，矩阵 Z 的列确定- 族 降阶子空间，这 
是因为如果 G = [ c/i , , q fl ] , Z = [ z 】 ，… ，〜] ，则我们有： 

span j Az j ，…， Az k fC ； span I g j ，…，办 i 和 span { Bz L f …， Bz k \ ^ 
span ! g 卜… f qt \- 

降阶子空间的性质及其在扰动下的特性由 St e wert (1972) 所 
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描述 ■ 


习 


题 


7.7.1 设 A 和且 

... 「D Ol r r 

V l BV= , I ； - L lh 

L0 Oil - r ' 


v 2 ], v :[ v \ v 2 ] 

n ~ r r n ~ r 


是 B 的 SVD 分解，其中 D 足 rXr 阵， r 二 rank(B). 证明：如果 A(A.B)=；. 
则是奇异的. 


7.7,2 


定义 F : :为 


FU) - ~ 2 



其中 A 和 ，'证 明：如果 7 K (. r ) 二0,则 Ar 是 Br 的倍数. 

7.7.3 设 A 和 B € o ' 给出一算法来〖十算止交阵0和 Z , 使得 
Q [ AZ 是上 Heasenberg 阵丑 Z T BQ 是 I; 三角阵， 

7.7.4 设 


A = 


^1] 

0 


Al2 ]m B = 

A 22 」 



B 叫 


其中和 A 22 ,f^€ :广'在什么情形下存在 


X = 




和1^ = 


h 

0 



使得 ydAX 和均为块对角阵？这是一个广义 Sylvester 丌程问题. 
当 Am 为上二角阵时的情形时，试给出-特殊算法.见 


Kagstrom ( 1994). 

7.7.5 设" 钇； UA，B)」 试给出 A t = (A - ^) 1 A 和氡=(炱- 
/^)- } 8 的特征值和特征向堉弓4 的广义特征值和特征向量之关系， 

7.7.6 设"〃，说明怎样计算正交阵 Q,Z，U, V使得 
G 【 ALf 是 t Hessenberg 阵和 V' T CZ, Q T BV 及 V T DZ 均为上三角阵.注意到 
这将束 AC _ ABD 化为 Hessenber^ 三角獻你的算法不要 M 式形成乘积 AC 
或 BD, 也不用计算任何矩阵的逆，见 Van 1^11:(1975). 
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第八章对称特征值问题 


务8.1性质4分解 

§8.2 幂迭代法 

§8.3 对称 QR 算法 

勞 8.4 Jacobi 方法 

§8.5 二对角方法 

§8.6 计算 SVD 

§8.7 一些广义特征值问题 


具苻华芙的数学结构的对称特征值问题是数值代数中勗漂亮 
的问题之一.首先简要讨论对称矩阵的数学性质，它们奠定丫此计 
算的基础.在§ 8.2 和§ 8.3 中我们提出了多种幂迭代法，最后集 
中在对称 QR 算法， 

在 §8.4 中我们讨论 hcobi 方法，这是文献中出现最早的矩 
阵算法之 -. 由于它易于并行化和在某种条件下 H 冇高精度，这种 
方法近来乂引起人们的兴趣. 

在 §8.5 中对三对角情形给出了不同的方法.它们包括二分 
法和分而治之技巧. 

怎样计算奇异值分解在 §8.6 中详述.核心筲法是对称 QR 
迭代法应用于双对角阵的变形. 

在最后-节我们就 A 为对称阵且 B 是对称正定时这一重要 
情形讨论广义特征值问题 Ar = 对这个特殊结构的广义特征 
值问题，没有适当的类似基 t iE 交的 Q 算法（见 §7.7) 存在 .然 
而，有儿个成功的方法可以用，我们给出这些方法，以及广义奇异 
值分解的讨论. 
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预备知识 

需用到第一章， §2.1 〜 §2.5 和 §2.7, 第二章， §4.1 〜 
§4.3, §5.1~ §5.5 和 7.1.1 小节的知识.在本章内，有下列依 
赖性： 

§8.4 

t 

§8.1 _ ^§8. 2^ §8.3--§8.6—§8*7 

I 

§8.5 

本章许多算法、理论和第七章非对称的部分相对应.然而，除 
了少_概念和定义外，我们处理对称特征值问题的方法在读第七 
章之^就能学习. 

补充参考文献包括 Wilkimon( 1965),Stewart( 1973 ),GQ U rlay 
和 Watson (1 973 ) , Hager (1988), Chateim (1993), Parlett (1980) T 
Stewart 和 Sun (1990), Watkins (1991) ， Jennings 和 McKeowen 
(1992 )， 以及 Dam(1995 ), 对 本章很 重要的 Matlab 函数是 schor 
和 svd. 与 LAPACK 相关 的有： 


IJ \ PACK ： 对称特征值间題 


_SYEV 

所有特征值和特征向量 

_SYP：VD 

问上但用分而治之求特征向章 

_ SYP：VX 

部分特征值和特征向 * 

_SYTRD 

Householder 二 对角化 

_SBTTRD 

Houschoider = .对角化（带形 A) 

_SPTRD 

Householder 三对角化 （A 打包存储） 

_STEQR 

=:对角阵的所有特征值和特征向哲（隐 QR) 

_STEDC 

! 5对角阵的所有特征值和特征向虽（分而治之） 

_ STTF-RF 

二对角阵的所有特征值和特征向屋(尤求根 QR) 

_ PTEQK 

正定二对角阵的所有特征值和特征向量 

_STEBZ 

三对角阵的部分特征值（对分法） 

_ STEIN 

4对角阵的郎分特征值 (逆 迭代） 
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LAPACK : 对称止定特征值问题 

_ SYGST 

j 将 A - AB 化为 C - AJ 形式 

_PBSTF 

I 分裂 Cholesky 分解 

_SBGST 

1 用 PBSTF 将 A-AB 化为 C-W 


LAPACK : SVD 

_ GESVD 

A = l/XV 丁 

_KDSQR 

实叹对角阵的 SVD 

_ GEBRD 

-般矩阵的双对角化 

_ORGBR 

产生正交变换 

， _GBRRD 

带肜矩阵的双对角化 




UNPACK : 广义奇异值问題 

_GGSVP 

—TGSJA 

将 A t A - 化为三角形 A ; A 1 _ jh 2 BJB , 

计 算两个 H 角阵的 GSVD 


§8.1 性质与分解 

在这一节，我们陈述一些所需的数学知识，以便提出和分析对 
称特征值算法. 


8.1.1 特征值和特征向量 

对称性保证了 4的所有特征值都是实的且有一组正交特征 
向量. 

定理 8*1.1( 对称 &11 1 11" 分解） 如果 A6:R nXni 是对称的，则 
存在一个实正交阵 G 使得 

Q J AQ = A = diag (又 i ，…，夂） 

而且，对是=1:«，40(:,左）=义々（：，是）.见定理7.1.3 

证明设 AiGACA ) 耳是2范数下的单位特征向量， 
Ax = Ap . 由于 A ] = x u Ax = j : h A h j : - x H Ar = ，即知 Ai ^Jtl . 

这样 》 我们可以假定: r 6 R " .令 Pi x " 是一个 Householder 阵， 
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使得 = / n (:, 1)- 由于 Ar = 可得知 

h . 这是说的第一列是 q 的倍数.但因 PjAP l 是对称 

阵，故它必有形式 





其中 "是对称阵.由归纳法我们假定有一个正交 

阵仏 e ] ( n - l ) x ( n -1 ) 使得 QjA l Q l =七是对角阵■令 G = 





及比较矩阵方程 AQ = QA 的列就 


可得到定理. 

例 8,1,1如果 


□ 


「6.8 2.41 , 「0.6 -0.81 

A = 丨和 Q =丨 ， 

12.4 8.2」 L 0.8 0.6」 

则 <2为正交阵且 Q T 4 fi = diag (10,5)- 

我们将用记号 A a (4) 表示对称阵 A 的第 A 个最大特征值.这 

样， 

A n ⑷⑷⑷ ■ 

由2范数的正交不变性可以知道 A 有奇异值 | | AiU ) U …， 
1 AJA)I I 且 

II A || 2 = maxj I Ai(A) f t t A n (A) I ( 

对称阵的特征值有一个“极小极大”特性，它是基于可看成是 
二次型比值 jc t Ax / x t x 的量. 

定理 8.1.2(€0111^1十&}^极小极大定理） 

如果 A 6 R " x "为对称阵，则 

At { A ) = max min y ， 对是 =1 : 

dsm { S )= k S y y 

证明 令 QTAQ ^ diagUi ) 是 Schur 分解，其中 A k ^ X k ( A) t 
且 Q 二 [ Qi ，<?2, …，如]■定义 

S k = spanlw ， …，叭 t 
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为与 Ai ，…， Aa 相对应的不变子空间，容蛣证明 

max min > min = qjAq k = A^( A). 

tlirn ( S)-i V ^ y v y 

现证明反过来的不等式.令 S 是任意 A 维子空间且注意到 它-定 
与维数为72 - 6 + 1的子空间 I 办，‘ * ， ， I 相交■设. V * = 十…+ 
a n q n 在此交集中，则 

min - ^ -V v ^ Ai(A ). 

財六 s y y y h 

由于此不等式对所有 A 维子空间成立，故 

max min ^ A^( A). 

如⑸ - “AvClS y* y 

因此定理得证. 口 

如果 A 6] 是对称正定阵，则 A n ( A )>0. 


8,1.2 特征值的敏感度 

对称特征值问题一个重要的求解框架包括产生一列正交变换 
阵 iGd , 这些矩阵使得 Q \ AQ k 逐步“更加对角化”.问题自然而然 
产生，一个矩阵的对角元与它的特征值究竟近似到什么程度？ 

定理 8.1 , 3( Gershgodn ) 设 A x "为对称阵且 0 G R 71 x " 

为正交阵.若二 D + F, 其中 D^diagCA，...，^), 且 F 有 
零对角元，则 

n 

A ( A ) U f 〜 r ^ d , + rj 

a -1 

其中对 2 I /'J .见定理 ：2 丄 

广 1 

证明 设； ieA ( A )， 且不失…般性假定对 i = l：n 有 
由于（/)-义1) + ?'奇异，由引理2.3.3可知 

对某个6成立但这隐含 X ^[ d k ~ r kt d k + r k ]. □ 
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例 8,1,2 矩阵 

2.000 0.1 碼 0-2000 _ 

A 二 0.2000 5.0000 0.3000 

XL 1000 0.3000 - 1.0000 

有 Gcrschgorin 区间「1 . 7 ， 2. 31 ， [4. 5 ， 5 .5] 和 [- 1 .4 ， —61 以及特 
征值 1 .9984,5. 0224和 - 1 .0208. 

下面的结果表明，如艰 A 被一个对称矩阵£所扰动，则它的 
特征值变化范围不超过II E || . 

定理 8.1.4 ( Wielandt - Hoffman ) 若 A 和乂 + 1 ?是 n 乘"对 
称矩阵，则 

l ]( A t (A + E ) - K ( A )) 2 ^ || E H 2 f , 

证明 在 Wilkinson { 1965,104-108 Stewart 和 Sun 

(1991,189-191 页）的朽中均能找到证明.也可参看题8丄 5. □ 

例 8.1.3 如果 

「6‘8 2.41 ^ [0.002 0.0031 

A = 和五= , 

L 2.4 8-7」 10.003 0.001 J 

则 A ( A )= |5，1 ⑴和 A(A + E )= !4. 9988,10.0041，满足 

1.95 x 10* 5 - 14.9988 - 5 | 2 + | 10.004 - 10； 2 < \\ E I ! \ 

- 2.3 x 10_ 5 . 

定理 8.1,5 如果炱和4十£是?阶对称阵，则对 
k = 1 : n 有 

A k ( A ) + A „(£)< f E )< A ^( A ) f 
证明 这吋由 最小最 大特征值定理证明.参看 Wilkinson 
( 1965 ， 101 〜102页）或 Stewart 和 Sun ( 〗990 ， 203 页）. □ 

例 8.1.4 如杲 

_ 2.41 「0.002 0.0031 

A — L 2.4 8.2」 1-0.003 0.001 

则 A ( A )= |5,10 t , A (£)= { _0.0015,0.00451，且；1(4 +E)- 
14.的88，10.0042!，满足 
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5 - 0.0015 <4.9988 <5 4 0.0045 
10 - ( M )015 < 10.0042 < 10 + 0.0045 
推论 8.1.6 若 A 和 A + E 是 x h 阶对称阵，则对 
有 

| A,(A + E ) - A ,( A )|< || E || 2 . 

证 明 U,(A + E )- 又 〆 | < 

Tnnx\\X ti (E)\ ,|A,(J?) || E i 2 . P 

从最大最小性质可得出儿个更有用的 扰动结 论. 

定理 8.1.7( 交错性质）如果 A 〃是对称阵 X A r = 

( l : r ， l : r )， 则对 /"=!■:，/ 有 

A rM (A rtl )<A r (A r ) d(A r+1 )(' …< A 2 (A, U ) < AKA,) 
^ A ! ( A r . !) 

证明 Wilkinson (1965，1( J 3 〜 104 页）. □ 

例 8.1.5 如果 

「1 1 1 V 

12 3 4 

A — 

：1 3 6 10 

Ll 4 10 20 l 

则 A ( Ai ) = U I ， A ( A 2 )= |0.3820,2.6180(, A ( A 0 - 10.1270, 
1.0000,7.8731 ，且 A ( A 4 )= SO .0380,0.4538,2-2034,26.30471. 

定理 8,1.8 设尨二 A + rcc T ，其中 wXn 是对称阵， c'e 
f 是 2 范数单位向量且 r 6 .若 r >0, 则 

A ,( B ) 6 [ A ; (4), A , iU )]， z = 2 ： ^ . 

然而若 r <0, 则 

A ,( B ) 6 U — iU ) 乂 U )]， / = 1 _ 1- 

在任一情形下都存在非负教 m 、 ' m n 使得 

A ； (£ f ) — A,(A ) + i = I ■ n . 

而且 m { + '" + m fS — l , 

证明 Wilkinson (1965，94 〜 97 页），也可参见题 8.1.8, □ 
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8.1.3 不变子空间 

许多特征值计算过程都是将原来问题分解成许多小的子问题 
求解.下面结论是送种求解框架的基石. 

定理 8.1.9 假设4 H 为对称阵且 

Q = [01 02 1 

r n - r 

为正交阵.如果是不变子空间，则 

rD , 0 lr 

Q t AQ = i > = n n ， （8 丄 1) 

L 0 D 2 」 a — r 


且 A (4) = A (^) 1 ) LU ( i > 2 )，参看引理7丄2■ 
证明 如果 


q t aq - 


_^21 


El ' 

D 2 _ 


则从 = QD ， 我们有 AQ X - 0!!?! = 02^21 由于 ran ( Gi ) 是不 
变子空间，02五21的列向量也在 r a n ( Gi ) 中，因此与（?2的列向量 
垂直，故 

0 = Ql (^ Q \ - Ql^O = 0202^21 = E 21 . 

所以， （8.1.1) 成立.易证 

det(A - A/ rt } - det(Q r AQ - XI J 

= det(Di - A/ r )det(D 2 — XI„ - r )., 


这就证实了 X ( A ) = HD ,) U A ( D 2 ). □ 

不变子空间的扰动敏感度依賴于相关特征值与谱中的其他特 
征值的分离度.两个对称阵 B 和 C 的特征值的分离度的适当度量 


由下式给出： 


sep(B ， C) = 

由此定义，我们有 


飄 1 卜户 1 . 


定理 8.1.10 设 A 和/4 +五是对称阵且 


( 8 . 1 * 2 )' 
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Q = \Qv Q 2 J 

r n - r 

是一个使得 ra n ( ai ) 是 a 的不变子空间的正交阵，将矩阵 Q t AQ 
和 G t eq 分划 如下： 


Q t aq = 




Q T m 


K11 

LK21 


EaJ ^ - r 


如果 sep ( Di , f ) 2 ) >0 且 

||£ 也)， 


则存在一个，满足 


HP | l 2< 


4 

sepCDy ， D 2 ) 


II 4 II 2 


的矩阵 (0! + 0 2 P)U + P T P ) _1 々之列定 

义了 4 十 E 的不变子空间的一组正交基，参看定理 7.2.4. 

证明此定理是 Stewart (1973) 定理 4.11 的稍微改动，矩阵 
(J 十 P T P)-w 是 U + P T P) 的平方根的逆，看 4.2.10 节. □ 

推论 8.1.11 若定理条件成立，则 

d[st(ran(Q 1 ),ran(0 ] ))<^^— || £ 21 || 2 , 

参看推论 7.2.5. 

证明 用奇异值分解 (SVD) 可证 

II PU + p T py 1/z II 2 < [| P f | 2 . (8.1.3) 


由 Gf Q ^ P(I + P H P ) 1/2 可得 

dist(ran(Q l ),ran(Q 1 )) = || Qj 0i fl 2 = II P(/ + P H py ty2 Jj 2 
< II P II2 < 4 II E 2l II 2 / sep ( D lf D 2 ), □ 
这样， sepO^,!^) 的倒数可认为是度量不变子空间 rar^h) 敏感 
性的条件数. 

扰动对单特征向量影响非常重要 f 对此重要情形我们强调以 
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上结沧. 

定理8，1_12设4和 A+E 是对称阵且 

Q = [91 ， Qi 1 

1 72—1 

是正交阵，其中 w 是 A 的特征向量.将 C t aq 分划如 


Q T AQ 


0 d 2 


如果 (i= min I A - " | >0 旦 


则存在满足 


E\\ 2 <J^ 


II P II 2 II ^ II 2- 


的 p G K n ~ 1 使得 h = (qt + Q 2 p )/^/ 1 + p''ptA + £ 的 2 范数单 
位特征向量.而且， 


dist(span{ 丨 ， span j () 


(<?7 q\) 2 ^ II 2 - 


也参看推论 7.2.6. 

证明应用定理 8.1.10 和推论 8.1.11(r=l ) 且注意到如果 
Di = # 则 J = septDi ， D 2 ). 口 

例 8.1.6 如果 A 二 dia^.^HOOH)* 

" o.oo o.oi o.or 

E ^ 0.01 0.00 0.01 ， 

o.oi o.oa 

则 & T U + £ ) ㊁ =diag{ .9899,1*0098,2.0002) ，其中 
r - 0.7418 0.6706 0.0101" 

Q ^ 0.6708 0.7417 0.0101 

- 0.0007 - 0.0143 0.9999- 
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是正交阵. 令号 i 二 Qe ' , / = 1 ， 2 ， 3 , 于是， i 是 A 的特征向量& = g 
的扰动 .计 算表明 


dit>t I span 1 (/ 1 1 ， span I q 1 1 i = distl span \qj \ ^ span ! y 2 i } = 0.67- 
这样，因为特征向量 h 和 92 对应于相邻近的特征值，故不能精确 
计算.另一方面，由于 Ai 和〗 2 与 A 3 分开，它们定义的二维于空间 
足够不是特别敏感，这从 dist 丨 span I , (?2 丨， span 1 q ^! 1 =: 0.01 
可以看出， 

8.1*4 近似不变子空间 


如果 a e ， 〃的列线件无关且对某 seif x 「 余量阵《 = 
- Qj 较小，则的列向童定义了一个近似不变子空间.当 
有了这样-个矩阵时，让我们看对 a 的特征系统能说些什么. 
定理 8.1.13 设 Y Xr 是对称阵且 


AQx QxS - E u 

其中 （ hew Xr 满足 t .则存在川，…，〜使得 
\^k " ^*(5) | ^/2 |[ [| 2 , ^ - 1 : r- 

证明 令 — d 使得 G 二[仏 ，仏] 是 正交阵的任意 
矩阵.可以推出 


Q t aq 


二 B + E 


S 0 ] 十 [ QjE x ElQ 2 

0 QjAQ 2 y iQjE, 0 . 

于是应用推论 8.1.6 我们可知对6 = 1 、都有 I A〆 力）- AJB ) | 
< ii E || 2 .由于 A ( S )= A ( B ), 存在户卜…士^“…使得 
I y-k ~ 以 S) I < II £ II 2 ， k = I \ r. 

注意到对任意 , r ^ F r 和我们有 



< II E,x || 2 + \\ EjQ 2 y f | 2 

2 


< II E J 2 |Lr || 2 || E y || 2 || SI 

我 们易知 II 2 <^|] Ey |1 2 , 从而定理得证. 


□ 
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例 8,1,7 如果 

-K HI 


Qi ^ 


0*7994 

0.6007 


和 s = (5-1) e A , 


则 


AQi - QiS - 


r- 0.08281 , 

L 0.0562」二 E 


定理预示着 A 在以 5.1 为中心，乃|| £i || 2=^0.1415 为半径的邻 
域内有一个特征值.由 A (旄） = )5,10} 可知该结论正确. 

定理 8.1. 〗3的特征值范围依赖 II AQ , -QiS || 2 .给定4和 
，下 列定理表明怎样选择 S 使该量在 Fmbenii ^ 范数意义下最 
小. 


定理 8.1.14 如果力 G ] R nX ”是对称阵且 hell " 〃的列向 
量正交，則 

min || AQ , - Q V S [| f - II (/ - Q i Qj ) AQ 1 || 

JLS = eT ^ i 是最小化矩阵. 

证明 令使得 Q = [0^02] 为正交阵，对任 
意 SGfT^ 我们有 

I] AQ i - Q l S \\ 2 f ^ II Q T AQ l - Q J QiS \\ 2 F 


=II «3 i ' AQ 1 - SH 2 , 4 || QjAQ , || 2 f . 

很清楚，使上式达到最小. n 

这个结论使我们能从任何一个 r 维子空间中选取^ 
个“最佳的”近似于特征值〜特征向量的集合. 

定理 8 . 1 . 1S 设为对称阵且满足 aTai 
= J r ‘若 

Z T ( QjAQ x )Z = = D 

是 QlAQi 的 Schur 分解型且 <^2 = [ 3 / 1 ，‘“， 3 ；,],則对 6 = 1:广有 

IU 咒-〜 II (J ^ QiQDAQ^j, 1( , 

^ II ( 1 -QiQhAQi II 2 . 


- 467 * 


证明 

- 0m - - QiZDe, - (AQj - Q X {Q]AQo)Ze k 

两边取范数，定砰得证. □ 

/ H 定理8 . 丨 . 15中，^称为值称为 Ritz 向量 M ,, yk ) 
称为 KiU 对. 

如果我们将定理中的列向 M 为正交的假设弱化，则定理 
8 .1. 13的应用更广.如同所料，没有正交性其界会变坏. 

定理 8-1. 16 设 A € 〃为对称阵且 
AX { - Xj 5 - F , , 

其中义 1 6 1 :" ; 0且8二；^益\ 1 .如果 

II XjXj - Xj | 2 = r < 1, (8.1.4) 

则存在川，…，/々€ A ) 使得对 k - l , r 都有 

I y. k - A ,( S ) 1< V 2( ：| F , ：] r (2 f r ) II A || z ). 

证明 ^ X ^ ZP 是&的极分解. ImI 忆 4.2.10 节中的定 
义，这意味着「的列向量止交乱 re ， 〃是-对称半正定 
阵， 满足/ > 2 =叉「叉卜在等式 

E , =AZ ZS ^ (AXi - X { S ) + A(z - X L ) - (Z - X L )S 
=Fi -f AZ(I - P ) - Z(I - P ) X [ AX l 

网边取范数得 

II £! lf 2 < fl F , || 2 + | jA || 2 ||/- F|| 2 {l + || X , 

(8.1.5) 

等式 (8.1.4) 意味着 

!l )\ l <\ f r . (8.1.6) 

由于 p 足半正定阵 ， u + p ) 非奇羿 a 

I - p ^ (f + p) Kr … p 2 ) ：- u + p)-^! - xJXi), 

这隐含着 O-Fll 2 < r . 将此+等式和 （8.1.6) 代人 （8.1,5) 我们 
有 II A II 2 < [I h II 2 + r (2+ r ) (U II ：. 注意到，我们可应用定理 
11.13(^ = 幻并通过余 M 阵&将 A 和 S 的特征值联系起来. 
址明完毕. 口 
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8.1.5 惯性定律 


对称阵 A 的惯性足^个非负整数的数组 p)， 其中 m， 
z 和 p 分别是 A(A) 的负元素，零元素及正元赛的个数， 

定理 8.1.17 (SyU^ter 惯性定律）如果是对称阵 
且 xe 非奇异，则 A 和 JV t AJV 有相同的惯性. 

证明设对某 r 有夂（4)>0,且定义 S l } Q ” 为 
S 0 = Span|X _1 (/i 1 » 1^0 

其巾 A% = )9, d ; 丨 ：r. 从 A〆 Y T AX) 的极小极大特性我们 

有 


X r ( X ' l AX ) 

由于 


腿疆 ，(尤丁严 — 

dim (>>) — r ^ y y y y 


y e 


v T (X T X)y 


>a n (X) 2 , 


< sv >- yT ( X ^ XW , 


可推出 


)2 

交换 A 与 X T AX 的位置，可类似推出 

A r (A) >A r (X T AX) f 7 rt (X- 1 } 2 = A r (X T AX)/ ( j 1 (X) 2 . 
这表明 A r (A) 和 A r (X T AX) 有相同符号，这样我们知道 A 和 
X t A ^ 有相同个数的正特征值,若我们将此结果用到 -A ，我们得 
到 A 和 X t AA ： 有相同个数的负特征值.显然两个矩阵的零特征值 
个数也一样. 口 


例 8.1.8 若 A =di 明(3,2, -1) 和 
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则 


■ 3 12 15" 

X V AX = 12 50 64 

.15 64 82 ^ 

以及 A ( X t AX )- 1134.769,. 3555, - .1252(. 

习 题 

8.1.1 不用本节任何结论，证明一个 2 X 2 的对称矩阵之特征值一定为 
实数1 

8.1.2 计算 A = 1 的 Schur 分解. 

-2 3 』 

8.1.3 证明 Hemik 矩阵 （ A H = 4) 的特征值为实数，对本节的每-定理 
犮推论，陈述和证明关于 Hermit 阵的相应结论，当4是反对称阵时，有什么 
类似结论？（提示:若心则 d 为 Heimh 型）. 

8.1.4 证明若 ，且 II X r X f II - r < l ， 则〜 n ( JO>l 

- r + 

8.1.5 设是对称阵并考虑 Schur 分解 A + fE =0 DG T ， 其 
中我们设 = 和 D = D ( i ) 是关于狀的连续可微函数. 证明： *( t ) 
= diag (0 ⑴ 1 EGO )), 其中右端矩阵是 0( O T EG ⑴的对角部分.通过在等 
式两边同时从0到1积分并取 Frobenius 范数，即可证明 W 〖 eiandt - Hoff _ 定 
理. 

II D(1)-D(0) lldiag(Q(i) T EQ(f))ll pd(< \\E\\ 

8-1-6 证明定理 8.1.5. 

8.1,7 证明定理 8.1.7. 

8-1.8 若则追迹函数 tr ( C ) = c n 十…十‘ 等于 C 的祷 征值 
之和.用此结论证明定理& 1 .8. 

8.1.9 证明若 R ^ m 和 CG ； P X "为 对称阵，则洗 p ( JS ， C ) = 
min |10叉_；«：||^，其中最小值是在所有，^中取. 

8.1.10 证明不等式 （8.1-3)- 

8.]. 11设 A € R wXn 为对称阵，〃列满秩且设 r <<«, 应用定理 
8.1 .8,找到 A + CC T 和 A 的特征值之间的关系. 
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§8.2 幂迭代法 

设"为对称阵且〜为正交阵.考虑下列 QR 
迭代： 

T 0 = U^AV 0 
for k = 1,2，，” 
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T , ! = Uj^ k (QR 分解） 

T k : R k V k (8.2.1) 

end 

由于八 = R k V k ^= UjiU ^ V ^ UTH 由归纳法知 

T k = (t/ot/r-^^ACLTol/r-f/A). (8.2.2) 

这样，每个正交相似于 4 .时且，7\几乎总是收敛为对角型.所 
以/可以说 (8.2.1) 几乎总是“收敛”到4的 Schur 分解.为了建立 
这个重要结论，我们首先考虑幂迭代法和正交迭代法. 

8.2.1 幂法 

给定一个2范数单位向量幂方法产生一列如下向 

for k = 1,2,"' 

z ik 、 Aq ^ 

q ⑴二 之⑴ /IU ⑴ || 2 (8.2.3) 

入⑴= [ q ik ) J T Aq {k) 

end 

如果 g ⑼不是“退化”的且 A 的最大模特征值惟一，则 g ⑴收敛到 
一特征向量. 

定理 8.2.1 设 46 R rtX "为对称阵且 

Q r ^Q ^ 在 ag(h, …， A„)， 

其中0 = [91，— 4„]是正交阵兌1义 1 |>丨；1 2 丨>-.-|夂|.令向量 
是由 （8.2.3) 得到且定义 仏 如下： 
oos(^) = \gJq U) \ T 

若 oos (0 o )# O , 則 

I sin (久< tan (办）_ ， (8.2.4) 

I _ i ^ Ut - A„ I tan(^o) 2 ^ ' (8.2.5) 
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证明由迭代定义，可知 q ⑴是 的倍数且 

,2_ , / M ⑹ 


iin(^) \ 2 


(< iW k) y 


l "Ul aV 0 U 

如果⑻有特征向量展式 q ^ = a iq[ +… + a 也，则 
I I = | 91 9 (0> I = COK( 〜） #0 ， 

af 十…十 = 1, 

且 A k q m = a 1 x \ q l + a 2 ^ 2Q2 + …+ a ^ q n . 于是 

2 火 2( a ^i k 

… 1 L 

^J a ^f k . n f x \2k 

<A %r = ^ a M) 

-- l ^f 

= tan (0 o ) 2 ( M ) ■ 


这证明了式 (8.2.4) .类似地 
入⑴ = [q ik) ] T Aq 
于是 


⑴— 「 o( 0 )1 t A 2 “V 0 ) 

"[ wnw 0 ) 


2t + l 


S a ^ 2 i 
__ 


A ⑴ — Ail = 


S d 2 ikf k {ki — Ai) 




i - 1 

< Ui - K I tan(<9 0 ) 2 (^ 


|A 「 A n | 結啦 ) 


2k 


2k 
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例 8.2*1 


1 

-1 .6407 

1.0814 

1.2014 

1 .1539- 

A = 

1.0814 

4,1573 

7.4035 

- 1 .0463 

1.2014 

7.4035 

2.7890 

- 1.5737 


- 1*1539 

-1 .0463 

- 1.5737 

8,6944^ 


的特征值由 A ( A )= Sl 2,8, -4, - 2! 给出.若 （8.2.3) 应用到此矩 
阵，令 y (<3) = [l 0 0 ，则 


k 

广 *> 

左 ! 

A ⑴ 

1 

2.3156 


11. 7747 

2 

S.6802 

7 : 

11 應 7 

3 

10-3163 

« ! 

1 

1 11.9534 

4 

11*0663 

! 

11.9792 

5 

11.5259 

10 

11 爛 7 


注意到以速率 | A 2 / Ai \ lk = {8/12) 2 " = (4/9)^ 收敛到 A L = 12. 
利用定理 8 . 1.13 可得到幕法的计算误差界.如果 
II Aq ⑴- A ⑴ (/⑴ || 2 = ^, 

则存在 X ^ X(A ) 使得 \ X { k } - XKJ 2 S . 


8.2.2 逆迭代 

假设幂法中的4由 （A-AJr 1 代替.如果 A 很接近 A 的一单 
根，则下一个送代向量在相应的特征方向的成分就非常多. 

rt 

工 = Xa 见 } ^ 

1-1 广 (4 - = S 

Aq { = XiQi , i ^ \ nl /_l 

这样，若且~不是太小，则在％方向上此向量有一较强分 
量.这个过程称为逆迭代±1需要求解以4 -AI 为系数的线性方程 
组. 
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8.2,3 Rayleigh 商迭代 


设 AG ] R " “是 对称阵 吐工是 一给定的非零 《 维向量.简单的 
求导数就发现 



使 || ( A-AJU || 2 达到最小（参看定理 8.1. 1 4 ).纯蜇 rU ) 称为 
: r 的 I ^ yieigh 商.显然，若工是近似的特征向量，则 r (: c ) 是其对 
应特征值的较好估计.把这个思想与逆迭代结合就得到 Rayleigh 
商 迭代： 

給定別， II 抑 || 2 = 1 

fork = 0 ， 1 , 

fik = Ka) (8.2.6) 

解 （A - ^ k I ) z k +i =〜得 

工出 =II II 2 

end 





迭代收敛到特征值 A -15.5534732737. 

Rayleigh 商迭代几乎总是收敛，当收敛时，其收敛速度为三 
次.我们演示的情形1不失一般性，我们付假定 A ^ iiagCAj ， 
A2 ) ，其中 A 1 >义2.记 A 为 




4 


可以得出 （8- 2,6) 中的~ A 1 1 A ^，且 

I 

_ W - 


q+i =■ 


计算表明 


CJH 


4 + 1 = 


4 _. 


■n 


(8.2.7) 


从这些等式很清楚看到若 UJ 乒 hh , 立方收敛到 span i h 丨或 
span \ e 2 \ ^ 

在 Padett (1974) 中吋以找到 Rayleigh 商迭代具体实现的细 
节. 


8.2.4 正交迭代 

幂法的直接推广可用于计算卨维不变子空间.令 r 是一选定 
满足的整数.给定一个 nx r 的列正交矩阵 Q d ， 正交迭 
代方法产生如下一列矩阵彳 I ^ nXr : 

for k = 1,2,*-- 

%k — ^Qk-\ (8.2.8) 

QA = ^ (QK 分解） 


end 

注意到如果 r = l ， 这正是幂法.而且丨仏恰是取初值 y (0)- 
Qon 用幂法产生的向量列. 

为 r 分析 (8.2.8) 的表现，设 

Q t AQ - D = diag ( A t ), I A1 1 > U2 | 会…> | | (8-2.9) 
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是 Ae， x "的 Schur 分解 ，将 Q ^ D 分划 如下： 

rD, 0 1r 

Q = [Q a 1 及 二 （ 8 . 2 . 10 ) 

r n-r 1 0 - r 


若 I 心 I >|U , 则 

D r (A) = nm(a) 

是 r 维的主不变子空间.这是与特征 值2 1 ，…， 心相对应的惟-不 
变子空间. 

下面的定理表明了在合理假设不，由 （8.2.8) 产生的子空间 
mi (仏）以速率收敛到 D r ( A ). 

定理 8.2.2 令的5^11!：分解由（8.2.9)和 
(8.2.10)给出.假定|；0>丨^ + 1 1 且《 >^ 矩阵 | 仏丨为（ 8.2.8 )所 
定义.如果 0 G [ O ，; r /2] 满足 

cos{0) = min — iV —' ii > 0. 


■_I u u I 

J^)TzriMUJ 


则 dist ( D,U ),mi (仏） ）< tan ⑻ I | -参见定理 7.3.1 

证明由归纳法可诬 

A ^ 0 =弘（札…化）， 

且由 （8.2.10) 的分划我们有 

rn T n,l 

(R k ^"Ri). 


M o 

~QlQ^ 


QlQk 

.0 Di 



_eM- 


如果 e T a t = [仏必则 

COsdin) = ^ r ( V 0 ) - ^ 1 - II W 0 H ， 

dist(D r ( A ) ,ran( Qjt)) = II W k \\ 2j 


MVo - V〆 札… K !)， 

i^W 0 = W.iR.-Ri), 
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由上可知非奇异，这说明 h 和… JO 也非奇异.这样 
= ^ WoVo ^ r ' v ,, 

11 

IJ w k II 2 < II M II 2 II »Vo lizii v 0 -' II zIlD/lUil y ,|| 3 


< I A r+ 1 ； * sin ⑻ 


cos ⑻ I A r I 


ian( B ) 


例 H 3 若 (8.2.8) 应用到例 8.2.1 的矩阵，取 r = 2 且 


= J 4 (:,l 

r 2)， 则 



k 

disl ( l> 3 (A )，ra [(&)) 

k 

dist ( D 2 ( A ) , ran ( Q k )) 

1 

0.8806 

6 

0*0044 

2 

0.4091 

7 

0.0030 

3 

0.1121 

8 

0.0010 

4 

0.G313 

9 

0.0005 

5 

0.0106 

10 

0.0002 


8.2.5 QR 迭代 

考虑当 r = « 时正交迭代法 (8.2.8) 会发生什么.令 Q t AQ = 
diag ( A 卜…， A „) 是 Sch ur 分解，而且设 

Uil > I 八 I > …> |A n |, 

如果 f O -1 有 

disi^iJj A) ， span|<jS 0) , … ， d 0) 丨 ） < 1 ■ (8.2/11) 

则由定理 8.2.2 町知 

dist(span| ， … ，以 )} ,spani [) 



这说明由 
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^ = QjAQ k 




定义的矩阵 乃 收敛到对角型.这样，可以说当且初始迭代 
阵 Go G ] T X "在 （8.2.11) 意义下非退化时，正交迭代方法计算 
Schur 分解. 

考虑怎样直接从 r A _ ，计算后一个 矩阵乃 就得到了 QR 迭代 
法.一方面，由 （ S .2.1) 和的定义得到 

T 々 - 】 = Ql-i^Qk-i ^ Ql-i(^Qk-i) — (Qj-iQk)^k - 


另一■方面， 

T k = QjAQ k = (QjAQ.-OiQUQ,) = R k (QUQk)^ 

这样，计算厂^的^尺分解，然后按相反顺序将这些因子乘起来 
就得到了 tv 这恰好是 ( m ) 所做的事. 

例 8.2.4 若 QR 迭代 (8.2.1) 应 用到例 8.2.1 的矩阵 ，则 H ) 
次迭代后 

- 0.1926 - 0.0004 0.000 CT 

8,0093 -0.0029 0*0001 

-0.0029 - 4.0000 0.0007 

0.0001 0*0007 - 2.000 a 


T,o 


11.9907 

-0,1926 

-0.0004 

0.0000 


T k 的非对角线元素收敛到零的情况 如下: 


k 

lT*(2 f l)| |T*(3,0I 17*(4,1)1 |T*(3,2)| | 丁 *(4,2)| 

ir*(4,3)| 

1 

3.9254 

I.S122 

3.3892 

4.2492 

2.8367 

1.1679 

2 

2-6491 

1.2841 

2.1908 

1.1587 

3.1473 

0.2294 

3 

2-0147 

0.6154 

0.5082 

0.0997 

0.9859 

0.0748 

4 

J.6930 

0.2468 

0.0970 

0,0723 

0.2596 

Q.0440 

5 

1.2928 

0.0866 

0.0173 

0.0665 

0.0667 

0.0233 

6 

0.9222 

0.02999 

0.0030 

0.6405 

0.0169 

().0118 

7 

0.6346 

0.0101 

0.0005 

0,0219 

0.0043 

0-0059 

8 

0.4292 

0.0034 

0.0001 

0.0113 

0.0003 

<).0015 

9 

0.2880 

0.0011 

0.0000 

0.0057 

0.0003 

0.0015 

10 

0.1926 

0.0004 

0.0000 

0,0029 

0.0001 

1).0007 


注意，一步 QR 迭代需要 OU 3 ) 个 flop . 而且，由于收敛是线性的 










(当收敛存在时），很明显该方法用来计算 Schur 分解其代价昂贵 
的不能接受.幸运的是，这些实际困难能够克服，下一节我们要证 
明这一点. 


习 题 

8 . 2.1 设 〃"为 对称阵且止定，考虑下列迭代： 

for ^ = 1,2,*-- 

A k -i = G k Gj (Cholesky 分解） 

- 

end 

( a ) 证明上面定义的迭代有意义 .（ b ) 证明若有特征值1 1 >；1 2 

>0( 其中则收敛到对角阵 diagUpAj . 

8,2.2 证明 （8.2.7). 

8.2.3 设是对称阵且定义函数叫俨+1为 

二]， 

其中， t 6 R " 且 A € P . .设和 A 十是应用牛顿法于/在 a 和火 所定义的 
“当前点”的值产生的.试给出1 +和 A 十的表达式.设 II 心 H 2= 1 JI 

也， 

本节注释与参考文献 


下列参考文献讨论正交迭代方法 ( 也称之为 R 步迭代方 fc): 

G. W- Stewart (1969). ^Accelerating The Orthogonal [teration for the Kigonvalues of a 
Hermitian Matrix p P " Numer. Math，13 5 362 — 376. 

M. Clint and A. jtrmings (1*370) 」 M Tlie Kvsluation of Eigenvalues and Eigenveclors of Re¬ 
al Symmetric Matrices by Simultaneous Iteralbn T s+ f hmp. j . 13 y 7fy — 80. 

H. Rutishauser (1970). ^Simultaneous Iteration Method for Symmetric Matrices/' Nu- 
mer r Math. 16 r 205 —223 ， See also Wilkinsan and Rcin^h (1971, pp, 284 — 302). 

关 TMhyleigh 商方法的参考文 献有： 

j, Vander^raft (1971 ). ^(jenerdiKed Rayleigh Methods with Applications tr> Finding 
Eigenvalues of [^xgc Matrices/' Lin r Alg. and Us Applic • 4 、 353 — 368. 

K N, Par^ett (1974). ^The Rayldgh Quotient lleration and Some GeneraiiaaricMis for 
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Noni»rmal Matrices," Math . Ccrmp. 28 , 679~■693. 

R, A. T&piaandD. L. Whitley (198«). “The Projected Newton Method Has Order 1 卞 
72 for the Symmetric Eigenv^lut- Problem/' SMM J. Num . Anai. 25 f 1375 —1382 ， 
S[ Battcraon find J- Smillie { 1989). "Tlie Dynamics of Rayldgh Quotienl I Deration f ” 
SIAM/. Num. Anal. 26 t 6 %」 

Ci Keattie and D. W. Fax U989). "Localization Criteria mid Contaimnent for Rayleigh 
Quotient Iteration,” SIAM J - Adu/irr Anal , Appl . 10 , 80 93- 

p, T- P- Tang (1994) - "IJynamic Condition Esliination and RayJdgh-Ritz Appnoxbiw- 
tion," SIAMJ. Matrix Amti. Appl. 15, 331—346, 

§8.3 对称 QR 算法 

有两种方式可使对称 QR 迭代 （8.2.1) 非常有效.首先，我们 
阐明怎样计算一个正交阵 r / 使得二 r 为三对角阵■有了这 
一变换，（& 2.1) 产生的迭代矩阵都是三对角阵，使得每步工作量 
为 0( rt 2 ) 个 flop . 其次，应用位移思想.用此技巧，收敛到对角型的 
速率是立方.这比在 8.2.5 小节中讨论的使非对角线元素以 
| A , + 1 / A ,|" 的速率化为零的方法要好得多. 

8.3.1 化为三对角阵 

如果 A 对称，则可以找到一正交阵使得 

Q t AQ = T 〔8.3.1) 

为三对角阵.我们称此为三对角分解.作为数据压缩，此方法朝对 
角化迈出了很大一步. 

我们现在来说明怎样用 Householder 矩阵来计算 （8.3.1) ■设 
Householder 阵 P〗， …， Ppi 已确定，使得若 ^ jt-i = 
(Pr.iVdTWJV.'iVi ) ，则 


1 

! 

B u 

Bl2 

0 _ 

k-l 

^k~\ = 

忍 21 

Bn 

忍 23 

1 


_ 0 


迟 33 - 

n — k 


k-l 

1 

n — 

k 
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的前 6-1 列为三对角阵 .如果 h 是《 阶的 Householder 矩阵 
使得:^ 32 是軋-, ( :,1 ) 之倍数而且 h = diag ( L ; A ) ,则 


B n B 12 

A, = PjAk iPk = ^21 

0 P^32 

k^l 1 


lk-i 

^23 Pk 1 

n- k 

n -k 


的右上角的 kXk 主子阵为三对角阵 i 显然，若 t / 0 = P r P „ 2 , 


则 *7；1、[； q = T 为三对角阵. 

在计算 A + 中，很重要的一点是形成矩阵 ：^ B 33 巧时充分利用 


对称性.精确地说，设有如下 形状: 


P t - I - ^zw T f /3 - 2 /v T v f 0 ^ v e R n ~ A - 
注意到若户=/38 3 0且 w = 你 贝 (I 
P ^ B 3 3 ^ = B 32 - VUJ 1 - tw T . 


由于只需计算此矩阵的上三角部分，我们看到完成从乂1_ 1 到 
的变换只需 4 U -々） 2 个 fl op . 

算法 8.3.1 (Householder 三对角化） 给定一对角阵 A e 
K ” Xn ，本算法计算 T = Q J AQ 并覆盖 A ， 其中 T 为三对角， (2 = 
氏 2 是 Householder 变换之乘积^ 


for — 1 * w _ 2 

[u ，召 ] = hoose(A (^ + 1 ■ « ,yfe)) 
p = ^ A{k \ n \ ： n)v 
^jd = p — {^ p T v /2 )v 

A ( k + l t k )- || Aik + Vn ^ k ) || 1； A ( k t k + 1 )-AU +1^) 
A{k + + Vn ) -Aik + l:rtA + l : w ) — va 7 


end 

当计算秩 2 修正充分利用对称性时，算法需4^/3个 flop . 矩阵0 
以分解形式储存在 A 的次对角线下面部分.如果 Q 需求出，_需 
额外的 4 w 3 /3 个 flop . 

例 8.3.1 


- 4 S 2 - 



"1 

0 

0 

T 

1 

3 

4" 

"1 

0 

(T 


1 

5 

0 

0 

0.6 

0.8 


3 

2 

8 

0 

0,6 

0.8 

= 

5 

10.32 

1.76 

J) 

0.8 

0.6 - 


4 

8 

3- 

-0 

0.8 

- 0.&. 


i) 

1.76 

-5.32^ 


注意，如果 T 有零次对角元，则特征问题化为两个小特征问題.确 
切地说，若4 + 1 ,是=0,则 A ( T ) = A ( T ( l : m )) UA(TU + l: 
n ，是+ 14 )) .若丁没有零次对角元，则说它是不可约的. 

令1为算法 8.3.1 所得到的 T 之计算值.可以证明 Q T 

(A +£)6, 其中 S 是精确的正交阵，而 E 是满足 || E || 

II A || ^之对称阵，这里 c 是小常数.见 Wilkinson (1965,297页）. 


8,3,2 三对角分解的性质 

我们来证明关于三对角分解的两个定理，它们在之后将起关 
键的作用.第一个定理将 （8.3.1) 和某一 Krykw 矩阵的 QR 分解 
联系起来， Krylov 矩阵有形式 

K ( A , v , k ) =[汐，如，…， AiS]，A 6 『'yd 
定理 8.3.1 若二 T 为对称阵的三对角分 
解，則为上三角阵.若 J ? 非奇异，則 r 
不可约.若 It 奇异且是是使〜= 0的最小指标，则办也是使 
为零的最小指标.见定理 7.4.3. 

证明 显然，若 gi = Q(:，l), 则 
Q r K ( A . Q (: A ). n ) 

= lQ r qi ，( Q ' r AQKQ r q L ),-,( Q r AQr - i ( Q r q l )] 

- r-^j = R 

是上二角，满足,11 = 1且对 i = 2 : «都有厂 h = 之21 广32 …々， I .- i . 显 
然，若 R 非奇异，则丁不可约•若/?奇异且是其第一个为零对 
角元，则且是第一个零次对角元. □ 

定理 8.3.2 ( 隐式 Q 定理）假设 6 = U !, … ，如] 和 V = 
[ h ，…，％]是正交 年使得 T 和 V 丁 AV 二 S 为三对角阵， 
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其中 AGR"。 是对称阵.令々表示使 b + 的最小正整数 .T 

不可约时约定6 = 7? . 若V〗= (J lT 则巧=± g ，且 Ui, 卜1 1 = 
kd-,1 」=2:々.而若，则 h + I ， ft =0 .见定理 7.4.2. 

证明定义正交阵并注意到 = 厂（： ，1) 二 
q 且怀 T rw = s . 由定理 SJ . uwTKdq ，走）是列满秩的上 
一三角阵.但 KCT ^ ，幻 是上三角阵，这样，由薄 QR 分解“本质上” 
的惟一性知 

W(--a : k) = / n (： ,1 : Odiag(± 1 ，…，上 1). 

这是说对 f = 1:々， Q (: ,0= ± ▽(/，_/)-由于 = 

1) T 4 Q (:， /) 和〜 + 1 ，, = V (: J + 1) T 4 V (:,0，/ = 1:» - 1，关于 
次对角元素之论述由此而知. □ 

8.3.3 QR 迭代和三对角矩阵 

我们快速地叙述关于 QR 迭代和 H 对角矩阵的4个事实 . 完 
整的证明是很简单的. 

1. 保持原型.若 T = QR 是对称三对角阵7^，^的 QR 
分解 ，则 Q 有下带宽为 1 J 彳 有上带宽为2,而且 

HQ = Q t ( QR)Q = Q r TQ 

也是对称三对角阵. 

2. 位移.若且 r 一 d = 是 QR 分解，则 

T , 二 QR 十 si 二 Q t TQ 
也是三对角阵.这称为位移 QR 步. 

3. 完全位移.若丁是不可约的，则无论^值为多少，了 - H 
的前 《-1 列线性无关.这样，如杲士 A ( T ) 且 

QR = T — si 

是 QR 分解，则 r nfI = 0且 T — ^ RQ + SI 的最后一列等于 

sl n (i t n ) = se n . 

4. 运算置.若 re ， 〜是三对角阵，则它的 QR 分解可由 
下列 n - 1个 Givens 旋转变换计算得到： 



for 是 =1 : — 1 

= givens ( 〜 山 n 
m = mmj^ + 2 f nl 

T(k i k + \ r k '■> m) — \ C 


T(k : 々十 1, 是： 


这需 OU) 个 fbp. 若旋转矩阵需累积求出，则需 OU 2 ) 个 flop. 

8.3,4 显式单步位移 QR 迭代 

如果5是一个很好的近似特征值，则我们期望用位移 s 进行 
一次 QR 迭代后 U ，《 -1) 元会很小.这就是下列迭代中的基本思 
想： 

T = [7^ f ； 0 (三对角） 
for k - 0,1, "' 

决定实 位移… 

T-^I = UR (QR 分解） ； 

T ^ RU + al 


~a\ b' … (T 

b t a 2 •、 I 

T = , 

*•.1 

- K-l a n~ 

则位移的一个合理选择是// =a„ ，然而一个更有效的选择是用 
T ( n - Vn t n - l ： n)^\ a "~ l 靠近的特征值作位移. 

这称为 Wilkinson 位移，它由 

p. = a n ^ d - sign(^) + h (8.3.3) 
给出，其中 d ~( a n -i - a n )/2. Wilkinson (1986b) 已证明 （8.3.2) 
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对上述两种位移策略都是立方收敛，但给出了直观理由为什么偏 
好 （8.3.3), 


8,3.5 隐式位移 


不必显式形成矩阵 T M I 就能实现从 T 到 T + = RU + uI = 
U T 71；的变换，这在位移比某个~ 大很多时有优点.令 c = 
cos(d) 和 s = sin(0) 使得 




如果我们令 G ^ Giia^M G iei = Ve } a 


T* ^GfTC! 


X 

X 

+ 

0 

X 

X 

X 

0 

+ 

X 

X 

X 

0 

0 

X 

X 

0 

0 

0 

X 


0 0 " 
0 0 
0 0 
x 0 

x x 
X x_ 


这样，只要我们能计算旋转阵 G 2 ，…，使得具有如下性质，若 
Z = GiG 2 … h 则 Z^ = G iei = 和 Z t TZ 是三对角阵，就 
可以应用隐 Q 定理. 


注意，只要我们使每个&是+ 纟 = 2:n_ 

1,则 Z 和17的第一列是相等的，而这种形状的矩阵 G; 可用来将 
多余的非零元素逐出矩阵 GjTG ,： 



"x 

X 

0 

0 

0 

0 


"x 

X 

0 

0 

0 

O' 


X 

X 

X 

X 

0 

0 


乂 

X 

乂 

0 

0 

0 


0 

X 

X 

X 

0 

0 


0 

X 

X 

X 

+ 

0 


0 

X 

X 

X 

X 

0 


0 

0 

X 

X 

X 

0 


0 

0 

0 

X 

X 

X 


0 

0 

+ 

X 

X 

X 


-0 

0 

0 

0 

X 

x_ 


.0 

0 

0 

0 

X 

x_ 
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"x 

X 

0 

0 

0 

0 _ 


"x 

X 

0 

0 

O' 

0 _ 


X 

X 

X 

0 

0 

0 


X 

X 

X 

0 

0 

0 

g 4> 

0 

X 

X 

X 

0 

0 

Gs r 

0 

X 

X 

X 

O ' 

0 


0 

0 

X 

X 

X 

+ 

0 

0 

X 

X 

X 

0 


0 

0 

0 

X 

X 

X 


0 

0 

0 

X 

X 

X 


-0 

0 

0 

+ 

X 

x _ 


-0 

a 

0 

0 

X 

Xj 


这样，由隐式 Q 定理可得出，由这种逐零技巧所产生的:三对角阵 
z T rz 和用显式方法获得的三对角阵 r 本质上是一样的.（我们 
可以假定所有涉及到的三对角阵都是不可约的，否则问題可以降 
阶)- 

注意,在逐零过程的每一步，只有一个非零元在三对角线之 
外-这个非零元在变换~~ GjTG k 下向矩阵右下方移动如下所 
示： 


■1 

0 

0 

(T 

T 

~CLk 

h 


(T 


l 

0 

0 

O' 

0 

c 

s 

0 


bk 

a <i 

bp 

0 


0 

C 

s 

0 

0 

— s 

c 

0 


: k 


a <i 

K 


0 

- s 

c 

0 

-0 

0 

0 

1 」 


_ 0 

0 


a 广 


4) 

0 

0 

1- 


「a 是 ~ 0 01 


ap bp 

o bp a q b q 
- 0 z p b q a r - 

这里 （ Hr ) = U + l ， 是 +2 J +3) .—旦 c 和 s 从等式 60 +z〆 
= 0 决定之后，此变换大约需26个 flop . 总之，我们有下列算法. 

算法 8 , 3 . 2 (带 Wilkinson 位移的隐式对称 QR 步）给定一 
不可约的对称三对角阵本算法计算 Z t TZ 并覆盖 r t 
其中…仏-:是 Givens 旋转年之乘积，具有性质 Z T ( T - 
〆 )为上三角阵且户是 r 右下角 2 X 2 阶主子阵的最靠近^之特 
征值. 


d — ((n_l ， a-l - ^nu )^2 
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{d + sign(ii) ‘ 


[c ， s] - givens (x r z 

r = 其中 q 

if k< n - \ 


G(k，k 女 1,(3) 


这算法需大约 30 « 个 flop 及求 《 个平方根.若一给定正交阵 Q 
被 QGi -. G ^ i 覆写，则需额外的个 flop. 当然，在实际编程 
中，三对角阵 T 应储存在两个 k 维向量而不是《 x „维数组中. 

例 8.3.2 如果算法 8 . 3. 2应用到 


|0 1 3 0.01 

0 0.01 J 

则新的三对角阵了由如下给出 

XI-5000 0,5916 0 0_ 

_ 0.5916 1*785 0.1808 0 

T = 0 0.1808 3.7140 0.0000044 

- 0 0 0.0000044 4.002497- 

箅法 8.3.2 是对称 QR 算法(计 算稠 密对称矩阵的 & h ur 分 
解之标准方法）的基础. 

算法 8.3_3( 对称 QR 算法） 给定 AeR" Xn (对称阵)和一个 
比舍入误差单位大的允许误差 toL 本算法计算一个近似对称 
Schur 分解 G t AQ = D.A 用三对角分解所康盖. 


用算法 8.3.1， 计算三对角化 

r=(iv-.JV 2 ) T A(iv"-，iv 2 ). 

令户=厂若 (2 需求， Q 二 Pr.J ^-2 见 5.1-6 节. 

until q-n 

对 i = \ ： n — 1，令 + 和 Aj + i 为零，若 

I ^1+1,21 =- I n I ^ td( I d it I + I d i+ i tl+ i I ) 

找到最大 g 和最小 p 使得若 

7J n 0 0 "I P 

D = 0 D 22 0 n - p - q 

. 0 0 d 3 J ^ 

p n— p — q q 

则 D 33 为对角阵且 Dn 是不可约的， 

If q<in 

对乃22应用算法8.3.2: 

若需求 Q, 则 Q = Qdiag(f p ,ZJ,). 

end 

end 

如果需求出 Q， 这一算法约需 9« 3 个 fbp， 否则约需 f n 3 个 flop. 
例 8.3.3 设算法 8.3. 3应用于三对角降 
"1 2 0 0 " 

2 3 4 0 
0 4 5 6' 

_0 0 6 7_ 

在执行算法 8.3.3 时，次对角元素变化 如下： 


迭代 

a 2l 



1 

1.6817 

3.2344 

0.86:49 

2 

1.6142 

2.5755 

0.OC06 

3 

1.6245 

1.6%5 

1(T 1J 

4 

1-6245 

1.6965 

收敛 

5 

1.5117 

0,0150 


6 

1.1195 

10" 9 


7 

0.7071 

收敛 





最后，我们得到 A ( A ) 二丨 -2.4848, .7046,4.9366,12.8311. 

由算法 8.3.3 得到的特征值 I 是4附近的一个矩阵之特征 
值，即 Go(A + E)Go = diag(l)， 其中 且 II E || 

u\\A h. 用推论8.丨 .6 我们知道在I 又-； 1 U 11 2意义下 

每个^的绝对误差很小.如果 G h ，…\ k ] 是所计算的正交特 
征向量组成的矩阵，则匕的精确度依赖于 A, 和谱中其余元素的分 
离度.见定理 8.1.12. 

如果需要计算所有的特征值和部分特征向量，则在算法 
8.3.3 中因不累积 G 而变的更廉价.所需的特征向量改由 T 的逆 
迭代计算.见 8 . 2.2 节.通常只一步就能有效地得到一个好的特征 
向童， S 卩使初始向量是随机给的. 

如果仅需少量几个特征值和特征向量，则在 §8.5 节中有一 
些合适的专门方法. 

有趣的是， Rayleigh 商迭代和对称 QR 算法之间有一神联系. 
设我们应用后者于三对角阵16]段0'取位移^ = elTe n - L 其 
中 6 = .若 T-<?J = <2K. 则我们有 r = R(? + aJ. 从等式 

(T-aDC? 二 K T 得到 

(T ~ < jl ) q n = r Hrt e n , 

其中 g 是正交阵 G 的最后一列.于是，如果我们应用 （8.2.6), 
取 则 jc ^ q n . 


8,3,6 用 Ritz 加速的正交迭代 

回忆 8.2.4 小节可知正交迭代包括一个矩阵乘积和一个 QR 
分解： 

Z k = A ^ Q k -y 

QkR k - Z k (QK 分解 ）. 

定理 8 丄 14 说明通过令 s = s 5* 能使 W^Qk-QiS H f 
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最小.如果 uls k u k = 扒是 S, € R r x r 的 Schur 分解且 （2〆= Q k U kf 
则 

II AQ k - QfP k 1] F - II A g, - Q^ k II F . 

这表明，从余量最小的观点来看 4 步后的列向量是最优基.这 
就定义了 Ritz 加速 思想： 

for 々 = 1 ， 2，“- 

z k ~ 

QJi t - Z k <QR 分解） 

S k = QlAQk 

UjS k U k = D k (Schur 分解） 

Qk - Qk^k 


end 

能够证明，如果 

D k = diag (卟)，…，冲 )），| 冲 )|>"> |#)| f 


则 


\e\ k) - a,(a)| = o( 


^r+1 


回顾定理 8.2,2 知 t QjA 么的特征值以速率丨 A r+1 /A r |^ 收敛.这 
样， Ritz 值以更快的速度收敛，详见 Stewart (1969). 

例 8.3,4 若我们应用 （8.3.6) 于 


100 1 1 1" 


1 (T 

1 99 1 1 

» Go 二 

0 1 

1 12 1 

0 0 

- 1 111- 


-0 (X 


則 
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显然，收敛速度为 (2/99) 夂 

习 题 

8-3.1 设 A 是对称 H 对角阵 r 的特征值.证明，若 A 的代数重数为是， 
则 r 的次对角元素至少有 a 〜1个为零 . 

8.3.2 设 A 为对称阵，且有带宽； K 证明，若我们执行带位移 QR 步 A 
= + 则 a 有带宽 〆 

8.3.3 设是具有对角元 Wlj ) 和超对角元 /(1:«-1) 的上 
双对角阵.陈述井证明定理8.3」的奇异值形式. 

8.3.4 令 A 二为实阵，假设我们执行如下的带位移 QR 步 A 

L X 7 」 

一; Ef = = i 证 明：若 I ，则 

UD - IV ^ X 2 (x - z)/[{iv - z ) 2 f jt 2 J, 

Z 二 Z — X 2 {-W - — z ) 2 + JT 2 ], 

~X X 3 /[(u! - s) 2 + J： 2 ]. 

8.3.5 设 A GC" X "为 Hermit 阵,说明怎样构造正交阵 G 使得 0 H 4 G 
= r 为实对称 h 对角阵. 

8*3.6 证明若 A = B + 是 Hermit 阵，则 M = ^ _ 二]力对 称阵. 

试找出 A 和 Af 的特征值和特征向量之间的关系. 

8.3.7 对于 A 储存在两个《维向量中的情形，重新写出算法 8.2.2 .并 
说明算法的计算量. 

8.3.8 设 ^ = 其中 " 是反对称阵 （ A T = _」4 )， u e 

Jtr 为2范数单位向量，且 cGE . 说明怎样计算正交阵 Q 使得为三对 
角阵且 Q T « = / ] ,( M )- e l . 
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§8.4 Jacobi 方法 


求对称特征值问题的 Jacobi 方法近来引起人们注意，是因为 
它们本质上是并行的.它们做法 如下: 进行一系列正交相似变换不 
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断校正 4 — 使得每个新虽然是满阵，但比前一个 A 
“更对角体'最终，非对角线元素都小到可以认为是零. 

通过对 Jacobi 方法内在的基本思想进行观察后，我们提出一 
种并行 Jacobi 过程. 


8.4.1 Jacobi 思想 


Jacobi 方法的思想是逐步地减小. 


off{ A ) = t 

即，非对角元素的“范数”.实现此^工^是旋转 变換： 

厂1 … 0 … 0 ■" 0 "1 

P 
Q 

0 … 0 … 0 … 1」 

P 


J(p,q,d) 


我们称其为 Jacobi 旋转变换 .Jfacobi 旋转和 Givens 旋转没什么不 
同，见 5.1.8 节.在本节改用名宇是为了纪念方法的发明#- 

进行 Jacobi 特征值求解过程基本步骤有：（1)选择满足 1<P 
<q<n 的指标（户， g);(2) 计算一个余弦-正弦对 (CM) 使得 



( 8 . 4 . 1 ) 


■为对角阵，以及⑶计算 B = 其中 J = 并覆盖 

1注意到矩阵 B 和 A 除了 和 9 这两行两列外均相等.而且， 


Frobenius 范数正交变换下不变，我们有 


a 2 pp + a% + 2a 2 M = b 2 p P + + 2b 2 M ^ b 2 pp + b% 

这样 


i-l 
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=II A \\ 2 F - + (a 2 P p + < _ b 2 沖 ~ b 2 ^) 

i - 1 

= off (A ) 2 - ■ 

在此意义下，每-个 Jacobi 步后 4 更靠近对角型. 

在我们讨论怎样选取下标对（户，9)前，让我们看看 
问题的实际计算过程. 

8.4.2 2X2 的对称 Schur 分解 

说我们使 (8.4.1) 对角化也就是说 

0 = ^ = a^ic 2 - s 2 ) + {a pp - a w )cs, (8.4-2) 
若=0,则我们只要设 U 4) = (1 ，0).否则定义 
r = a %_ a 冲 且， = 、 /c. 

由（8.4.3)得到^&11(0)是二次方程 r 2 + 2rr -1=0 之解.人们 

发现，选择两根 - r ±7 l + r 2 中较小的一个是重要的-而 (：和 
，可由公式 

c = l / vTTT 2 ，s = t ^ c 

得到. 选择？ 为两根中较小的一个可确保 U I 且使 B 和 A 之 

差的范数最小，因为 

|| B - A || p - 4(1 - c) S ( a % + a %y + - 2a 2 ^/c 2 . 

我们总结 2X2 矩阵计算 如下： 

算法 8.4.1 给定一个 n 乂 n 对称阵 A 和 整数户 和 q t 满足 
，这一算法计算的 余弦正 弦对 （0 5) 使得若 B 二 
J(p，q f d) T AJ(p，q ⑻，则 b {Mj = b qp — ^. 
function : [c ， s] = sym. schur2 (A t p 9 q) 

' iTA ( p t q )^ 

r=(A(q f q) ~ A(p i p))/(2A( p t qy ) 
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if r^O 

f = l/ (!■ +、, 1 + r 2 ); 

else 

t 二 -l/.( - r + V"l + r 2 ); 

end 

s = t'c 

else 

c = \ 

5-0 

end 

8.4.3 经典 Jacobi 算法 

如我们上面所说，解决 （ A ， g ) 子问题，只改变/行和列*一 
当 S ym . schur 2 决定了 2 X 2 的旋转阵，那么若充分利用对称性，则 
用幻修正 A 只需次运算‘ 

我们怎样选择指标/>和9呢？从使(8.4.2)中的减量(^(4) 
最小的观点，有理由选择 （/>,?) 使4最大，这就是经典 Jacobi 算 
法的基础. 

算法8 . 4 . 2 ( 经典 Jacobi ) 给定对称阵 >1 £ lR nx " 和容许界 tol 
>0,本算法用 V T AV 覆盖其中 V为正交阵且 off( V t AV)< 
tot II A II p. 

V= ; eps -tol' II A II y 
while off (A) >eps 

逸择 ( 户， 9) 使 U 抝 I =maxUy I 

(c, j) = sym.scbur2 (A,p.q) 

A—) T A/ (, p * fi > ^) 

V=VJ(p t q,d) 

end 

由于是最大的非对角线元素 ， off (A ) 2 <N(a% + a 2 砂），其中 
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]\^«(7?-1)々.从(8.4.2)可得出 

off(B) 2 < (l - ^)off(A) 2 . 

由推导，若 A w 表示经々步 Jacobi 更新后之 4 , 则 

offU ⑴ ) 2 < (1 - 士 ) " 。 ffU ⑻) 2 . 

这证明了经典 Jacobi 算法以线性速率收敛 . 

然而 , 该方法之渐近收敛速率比线怍的要好得多 iSchonhage 
(1964) 和 Van Kempen (1%6) 证明了只要 6 足够大，有常数 c 使 
得 

off(A CK+N) }<c * off(A a) ) 2 

即，二次收敛上 enrici (1958) 的较早论文就针对 4 有不同特征值 
的特殊情形建立了相同的结果 . 在 Jacobi 迭代的收敛理论中，条件 
\8\^/4 是很关键的，此不等式加上其他条件就排除了几乎收敛 
的对角元之相互交换的可能性 . 这一点可以从由等式 (8.4.1 ) 所得 

到的公式 6 沖 = a 炒 - ta M 称 b 明二 a 明 卜如沐以 及定义 f = 
sin ( 沒） /cos ( 沒）中看出 . 

习惯上称 N 次 Jacobi 迭代为一次扫描 . 这样，经过在足够步 
迭代后，只要在每步扫描后考查 off(A ), 就能观察到算法的二次 
收敛性 . 

例 8.4.1 应用古典 Jacobi 迭代于 

1 1 1 r 

12 3 4 

A — 

1 3 6 10 

-1 4 10 20 - 

我们有 


扫描 7 

O(offU)) 

台描 

I oUfU)) 

0 

10 2 

3 

! lo 11 

1 1 

to 1 

4 

I 10" L7 

2 1 

1(T J 


1 
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没有严格的理论使人们预算出为获得 off (4) 特定的减量所 
需扫描的次数.然而， Brmt 和 Luk (1985) 已凭经验指出扫描次数 
与 logU ) 成比例，现实情形似乎也如此. 

8.4.4 行循环方法 

Jacdbi 方法的麻烦是每次校正要做 OU ) 次运算但选取最大 
元素 ( fd ) 却需 OU 2 ) 次运算.解决此不平衡的一条途径是将变 
换的顺序固定下来 .一 种合理的选择是逐行对每个非对角元素进 
行变换.例，若4，我们作如下 循环： 

( p , q ) - (1，2)，（1，3)，（1，4)，(2,3),(2,4)，(3,4)，（ J ,2)，. 

这种排序格式称为按行循环，它导致下列 算法： 

算法 8.4.3(循环】3^1>【）给定一对称阵4 和容许界 

tol >0, 这一算法用 V T 4 V 覆盖 A ， 其中 V 是正交阵且 
off( V T AVXtol || A || F . 

eps - tol [| A || f- 
while off( A ) > eps 
for /? = 1: 7i — 1 
for 9 二夕 + 1: 7i 
(c t s) = sym. scbur2 {A f p f q) 
A^](p,q.e) T AJ{p t q.e) 

V^VJ{p,q.$) 

end 


end 

循环 Jacobi 也是二次收敛.（见 Wilkinson (1962) 和 Van Kemper 
(1%6).) 然而，由子它不需进行非对角线捜索，它比 Jacobi 原始算 
法要快得多. 

例 8.4.2 若循环 Jacobi 方法应用到例 8.4.1 矩阵中 T 我们 


有 
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扫描 i 

O(off(/U? 

扫描 

OCoff(A)) 

0 i 

10 2 

3 

1(}~ 6 

1 1 

m ! 

4 

10 w 

2 ' 

It) 1 




8.4.5 误差分析 


m Wilkinson 的误差分析，可以证明若在算法 8.4,3 中需 r 
次扫描，则对4的特征值1的某个排列，计算的 < 满足 

- A,) 2 < f k r ) || 4 || 

i - 1 

参数 t 温和的依赖于 r. 

尽管循环 Jacobi 方法二次收敛，-般来说与对称 QR 算法无 
法相比.例如，若我们只算运算量，则2次 Jacobi 扫描粗略等于带 
有累积的 QR 算法迸行归化对角型的全部计算量.但是，在^较 
小的时候差别就不是很明显.而且，若一个近似特征向量矩阵V 
是已知的，则 V T 4 V近似于对角阵，此情形适合应用 Jacobi 方法 
而不是 QR 方法. 

, jacobi 迭代的另一个有趣之处在于当4为正定阵时，它计算 
的特征值其相对误差较小.为了解这一点，注意到以上引述的 
Wilkinson 分析和 §8.1 的扰动理论一起确保计算的特征值 

满足 


I ~ A { (A ) | 
A ； ( A } 


^ u 


- 


然而，由 Demmel 和 Veselic (1992) 提出的修正的分董形式的误差 
分析证明在正定情形有 


X ~ { A )| 
一 — 


uk 2 ( D ~ ] AD ), 


(8.4.3) 


其中 D = 且一般来说 W 2 ( / >^1?) 是一 




个比更小的近似界.建立这一结论的关键是一些新的扰 
动理论和如下半实:若 A +是由当前矩阵 A f 所获得的计算 Jacobi 
校正矩阵，则 A + 的特征值在 （8.4.4) 意义下相对来说更接近皂 
的特征值.为使整个事情合乎实际，终止条件不基于 off ( A ) 与 
« II A || F 之比值而基于每个 U y l 和之比较.送一工作是 
具有代表性的关于高精度算法新的研究，它基于精细的分量形式 
的误差分析.见 Math [ as { 1995). 


8.4.6 并行 Jacobi 方法 


求解对称特征问题的 QR 算法和 Jacobi 算法之间最有趣的区 
别是后者的并行本性.为表明这点，设 n =4 U ^6 个子问题按如 
下归为三个旋 转集： 


rot. set(l) = j(l , 2 },( 3 , 4 ) f , 


rot. set(2) = i(l,3),(2,4) | , 
rot-set ⑶二 t(l,4),(2,3)} - 

注意到三个旋转集中每个集的 所有旋 转均是“非冲突的”.即，子问 
题（1，2)和(3,4>能并行处理.与 （1,3) 和(2,4)子问题类似，子问题 
0 ,4) 和 (2,3) 也能被并行处理.总之，我们说 

(疋1，）1)，（，.2，_/2)，"，（心，〜）， N ^ (n - i )”/2 

是集丨（~)|1<〗<)<;:|的并行排序，只要对 5 = 1:„-1，旋转 
集 rot. set(S) = I ( i r ) : r ~ 1 + n(s — 1)/2 - 是一搜非冲突 
的旋转组成.这需要 《 为偶数.本节里我们都假定这一点 .（《 为 
奇数时，我们在4的边上增加一行和一列零元素，且在解含有这 


些添加的零元素子问题时卜分小心就能处理 .） 


一种产生并行排序方法是想像一扬有 a 个选手的象祺比赛， 
每个选手必须与其他每一个赛一场.在的情形，需7个“回 
合”，在第一回合里，我们有下列四场 比赛： 


1 

3 

5 

7 

2 

4 

6 

8 


rDt.set(l)= j(l ， 2) ，（ 3,4) ，（ 5,6) ，（ 7,8)! 
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即， 1 对 2,3 对4,等等，为建立第 2 到 7 个回合，赛手 1 不动，选手 
2到8依次轮回排队与之 对阵： 



rat.set(2)= f(l,4},(2,6),(3,8),(5,7)} 
rot, ^t{3)= 1(1,6), (4,8), (2,7), (3,5)1 
rot.set(4)= 1(1,8) t (6,7),(4,5), (2,3) S 
ra t.^t(5)= f(K7) ? (5,8),(3,6),(2.,4)t 
rct.s 杜 （ 6)= KJ ， 5) ，（ 3,7) ，（ 2,8) ，（ 4,6M 
R^set(7)=j(l ， 3) ，（ 2,3) ，（ 4,7) ，（ 6,8)[ 


我们能用一对整数向量 te P (l: 和 bot(l :«/2) 来将这些操作 

进行编码.在一给定回合 topU) 对 botU)，6 = 1 'n/2. 下一回合 
的派对由对 top 和 bot 作如下校正来获得： 

function ： [ nem. top , new ■ ] = music( top , bot , n ) 


m = n/2 
for k-l'-m 

if k = y 

nertj . top (1) = 1 
else if ^ = 2 

new. top (k) = bot {\) 
else if k >2 

new. top(k) = top ^ 1) 
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end 



new - bot {k) = top {k) 

else 

m^vu. bot(k) = bot(k + 1) 


end 


end 

用 music 程序，我们获得下列的并行排序 Jacobi 算法. 

算法8.4.4(并行排序_^001)0给定一对称阵 AG ] T Xn 和容 
许界 tol >0 T 本算法计算 V t AV 并覆盖其中 V 是正交阵且 
off ( V T AVXtol || A || F .假定 u 为偶数. 

€ps — tol II A || f 
top = l:2:n;bot = 2:2:« 
while off ( A ) >eps 
for set = 1 * n 一 1 
iov k-\ - n/2 

p — mm( top(k) f bot(k)) 
q — max( top(k) t bot(k)) 

sym.schur2 (A,p f q) 

A = Kp ， q ， e 、 T AKp ， q ， d ) 

V^Vj{p iq ,6) 

end 

[top = music( top t hot ’ n) 

end 

end 

注意到 A 循环执行的是 《 々个独立的，非冲突的子问题. 

8.4.7 环过程 

我们现在讨论算法 8.4.4 是怎样用 于-个 f 个处理器的机 
器.为清楚见，我们假设 P = .在任何瞬间， PnxrU ) 包含 A 的 
两列和 V 的相应列.例如，若=8,则以下是4的列之分配逐步 
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变化的情况. 



Proc( 1 ) 

Proc ⑵ 

Proc(3) 

P:roc(4) 

Step 1 : 

[1 

2] 

[3 

41 

[5 

6j 

[7 8] 

Step 2 ： 

[1 

4] 

[2 

6] 

[3 

8] 

[5 7] 

Step 3: 

[1 

6] 

[4 

8] 

[2 

7J 

[3 5] 


顺序对表示所选的列之指标.第一个指标称为左列，第二个指标称 
为右列.这样，在第3步中的 Proc (3) 中的左列和右列分别是2和 
7. 

注意到在步与步之间，列与列按照 music 程序所隐含的置换 
不断交换且变换主要是在相邻的指标之间.每…步中，每个处理器 
解决一个子问题.这包括 （ a ) 计算 个 正交阵硭 x2 , 它求 
解一个 2 Y 2 Schur 问题， a ) 用 2 X 2 V 胃 n 校止必和 V 的两选定 
列， （ c ) 送 2 X 2 到所有别的处理器，且 （ d ) 从别的处理器接收 
阵且相应4和 V 的局部块.由 f 4按列储存，校正^^„^需 
要进行信息传递，因为他们影响4的行.例如，在 〃 =8的问题第 
二步中，？『00(2)必须接收与子问題（1，4),(3,8)和（5,7)有关的2 
X 2 旋转阵.这些分别来自 Proc ( l )，； Proc (3) 和 Proc (4). 一般来 
说，能够很方便地实现分享旋转阵，只要通过按轮流方式在环上传 
递 2 x 2 矩阵，每个处理器拷贝一份传来的 2 X 2 矩阵放 
在内存里，然后相应校正4和 V 的局部选定块. 

算法的终止条件引出了分布式存储环境中的一个问 
题，即 off ( •) 的值和 1 IA II F 需要 A 的所有元素.然而，这些全局 
量在 V 矩阵轮流坐桩状态时可计算.在开始进行 V 阵循环之前， 
每个处理器都计算 II 4 1^和 off ( •) 的相应部分.将这呰量进行 
轮转且每一步将其读下,则它们能被每个处理器相加.一个完整的 
循环结束之后，每个处理器有它自己的备份 II 4 •). 


S.4.8 分块 Jacobi 算法 

常碰到这样的情形：在一个有 f 个处理器 （《» 户）的机器上 
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解一个对称特征值问题.在这种情形 Jacobi 算法的分块形式也许 
更合适.上面程序的分块形式是显然的.设 《 = 且我们对 A 阵 
作如下 分块： 


A n 

… a in 

_^N1 

… A m _ 


这里每个 A 1： J 是 ;"X r 阵.在分块 Jacobi 阵丰 （ f ， g ) 子问题包含计 
算 2 r X 2 rSchur 分解 



^l 1 

r ' A pp 1 






r A 吵 A 明丄 



L 0 dJ 


然后用由构成的分块 Jacobi 旋转阵作用于 A . 若我们称此分块 
旋转阵为 V ,则易证 

off ( V t AV ) 2 - off ( A ) 2 - (2 || \\ 2 f 

+ off ( A ^) 2 + off ( A w ) 2 ). 

分块 Jacobi 方法有许多有趣的计算问题，例如，有许多方法去解这 
些子问题而选择看来是很重要的.见 Bischof (1987). 


习 题 


8.4.1 设标量 y 和矩阵 

[W X 

A = 

L x z 


一起给定，需求一个正交阵 



S 

C 


使得的 （1,1) 元素等于广证明，此要求导致等式 
(w - u)r 2 — 2 XT + ( 5： - y) = 0, 

其中.证明此二次方程只要7满足有实根，其中 Ai 和 A 2 
为 A 的特征值. 

8.4.2 令 A € JT X " 为对称阵.给出一算法计算分解 
Q t AQ = tt + f ， 



其中 a 是 Jacobi 旋转阵的累积 , y = trace( A ) /n ， 且 F 的对角元为零.讨论殳 
的惟一性. 

8.4.3 对 ( a) 反对称阵 (b) 复 Hermit 阵情形设计 Jacobi 程序. 

8.4.4 对 n 维实对称阵 A 作如下 分块： 



n ~\ 


令 C? 为 Householder 阵，使得若 B = 则 B (3 : k , 1) 二0令 </二 

J(l，2,0) 这样确定：若 C T = J T 拟，则 c 12 = 0 且 4„> t22 . 证明 + 

|[ v I! 2-基于重复做这个 Householder-Jacobi 计算， La Budde (1964) 构造了一 
个求解对称特征值问题的算法. 

8.4.5 设汁函数 music 使得它只需最小工作空间. 

8*4.6 当应用循环 Jacobi 方法时，跳过^^不消去是合理，只要其模小 
于某一个小的，依赖扫描的参数，因为在此情况下 0 ff(A) 的下降量不值得进 
行变换.这就导致了所谓的门限 Jacobi 方法.关于 Jacobi 算法的这一变形之 
细节可在 Wilkinson (1965,277 页）中找到.证明合适的门限能保证收敛. 
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§8.5 三对角方法 


在这一节里，我们提出求对称三对角型特征问题的特殊方法 - 
三对角型 


T 


is 1 ^1 




(8.5.1) 


■ 


0 
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能通过 Householder 归化（见 8.3.1 节）获得.然而，在许多情形，很 
自然就出现对称三対角特征问题. 

我们首先讨论二分法，此法在只需求特征系统选定部分时很 
有趣.之后给出分而治之算法，该算法可用来以一种适于并行处理 
的方式来求得满对称 Schur 分解. 


8.5.1 二 分法求特征值 

令 I ；表示 (8.5.1) 式中 r 的前部 r x r 阶主子阵.定义多项 
式 ZvU ) = det ( r r - x/) f r = l ：^. 利用简单的行列式展开可以证 
明:若令 J ： )=1，则对 r = 2:«，有 

p r { jc ) = ( a r - x ) p r _ x { x ) - h 2 r _ l p r _ 2 (^) - (8.5.2) 

因通过 OU ) 次运算就可以计算 九 （工）的值，因此用半分法找它 
的根是可行的.例如，若九0)九 U )<0 且则迭代 
while — 十 1^1) 

x — {y + z^/l 
if />„( x ) p „(>)<0 

% — 30 

else 

y-x 

end 

end 

保证终止，且 (: y + 幻 /2 是么（1)的一个近似零点，即 T 的近似特 
征值.这个迭代是线性 收敛: 它每步将误差减半. 

8.5,2 Sturm 序列方法 

有时需要对某个给定的 A ，计算 r 的第々大的特征值.利用对 
分思想和如下经典结果可有效地办到这一点. 

定理 8.5.1( St _ 序列性质）若 （8.5 J ) 中的三对角_ T 
没有零次对角元，则 的特征值严格隔离 IV 的特 征值： 
A r ( T r )< < 夂― 〆 ！；） 〈… < X 2 { T r ) 
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< AiOV-D < A ,( T r ). 

此外，若 a ( A ) 表示在序列中符号改变 
个数，则 a ( A ) 等于 T 的比 A 小的特征值个数.这里多项式 p r ( x ) 
如 （8.5.2) 所定义且我们约定若九 （ A )=0, 則九 （ A ) 与九- ^ A ) 
反号. 

证明 由定理 8.1.7 得出乃^的特征值弱隔离 I ；的特征 
值.为 证唉必 定是严格隔离'，设对某些 r 和 M ;/ v («) 亡 〜.-/!/) = 
0, 则由 （8.5.2) 及 T 的不可约性 得出办 U )= 

仏“）= 0,显然矛盾.这样，必然有严格隔离. 

关于 a ( A ) 的这个断言是由 Wilkinson (1965, 300〜301页)建 
立的.我们提到若 F r ( A ) 二0,则约定它的符号是与的符 
号相反. 

例 8.5.1 若 



则入（7)〜10.254，1.82,3.18,4.74|.序列 

{p 0 (2),PiC2) t p 2 (2),p 3 (2),P4(2)| = il, - L, -1,0,11 
证实了有两个比 A =2 小的特征值. 

假定我们想要计箅 々（ r ). 由 Gershgorin 圆盘定理（定理 
S .1.3) 得出其中 

jy 二 ^nim (义 一 I 乂 I - I U). 

z + I dj I + I bi-\ I). 

若我们定义％ 二乂 =0.^ 此为初始值，显然由 St _ 序列的性质 
确知，迭代 

while - 丨 + 丨之 I) 
j ： = (：y 十 z)/Z 
if a(x)^n — k 
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else 


{8.5.3) 


: v = i 

end 

end 

产生一个长度反复减半而且始终包含 A fc ( T ) 的子区间序列. 
例 8.5.2 若对6 = 3将 （8.5.3) 用到例 8.5.1 的矩阵，則可 
得到下表所示之值 



5.0000 

2.5000 


.2500 


2.5000 





.6563 


由此可知 A 3 ( r ) e [ l .7969,1.9375]. 注 意：; l 3 ( r )々 l .82. 

在进行 (8.5.3) 迭代时，可以得到关 F 其他特征值大约位置的 
信息.通过系统地保存这个信息能设计一个有效的方案来计算 
A ( T ) 的“邻 接”子 集合，例如， + 

Barth , Martin 和 Wilkinson (1967). 

若想要一般对称阵 A 的-些选定特征值，那么，在应用上面 
的分半法之前就必须先计算三对角化 T = UjAL . 这个归化使用 
算法 8.33 或下一章讨论的 Lan CZOS 算法都可做到.两种情彤都 
可以经过迭代容易地找到相应的特征向量，因为用0(«)次运算 
就可找出三对角方程组的解，见 4.3.6 节和 8.2.2 节. 

在一些应用中，原矩阵已经是三对角型，用分半法计箅出的特 
征值不论其大小,都具有较小的相对误差.这与三对角阵 QR 迭代 
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不同，后者仅保证计算的特 征值 & 具有较小的绝对误差 ： I A, _ 
X t (T)\^u || T || 2 . 

最后，用 LDL T 分解（见 §4.2) 能计算对称阵的某些指定的特 
征值.其思想是用 Sylvester 惯性定理(定理8 . 1 .17) ,若 
A- fjJ ^ LDL t , A = A T e K nXn 
是 A - 4 的 LDL T 分解，且 Z> = diag (山，…， t4)， 则负的4个数 
等 于比"小的； ^(A) 个数.详见 Pdett (1980,46页） ■ 

8.5.3 对角阵加秩为1的矩阵的特征问題 


我们求对称三对角阵特征问题的下一个方法需要我们能够有 
效计算型为 D + 的特征值和特征向量，其中为对 

角阵且，这个问题就其本身来说很重要，且主要计 
算依赖下面的两个结果- 

引理 8.5.2 假定 D = diagUi ，".，<)£ R nXn 具有性质 
义〉…〉；， 又设卢 ^0且没有零分量.若 
(D + pzz T ) v = Xv, v 辛 0, 

则且非奇异. 

证明 若 A 6 A ( iJ )， 则 对某个 ；，；(=( 这样 

0 = e|[(0 - AJ)u + p(z T v)z] = p(z 1 v)z i 
由 f !0和乙非零，我们一定有且 = 然而 .,D 有相 
异特征值，因此， KspanU ]. 但是矛盾.这祥， D 和 
D + f /没有任何相同的特征值，且关 0. □ 

定理 8.5.3 设 D = diag ( A ， …，^^^，^且对角元满足 
4>—>4，假定/^0且3^，没有零分量，若 ve ] R n><fi 为正交 
阵使得 

V t (D + pzz T )V = diagUi， …， D， 

其中 且 [ t ^ ，…， v n ] ，如 

(a) A ,- 是 /U) = 1 十 pz J {D - AJK 1 之的”个零解 

(b) 当 則 ；U>A>；1 2 >〜> 尤， 
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当户<0,则 山 >心 : >心>一>^>;^ 

( c ) 特征向量 a 是的倍数. 

证明若 （D + pz 2： T ) v = h ， 贝 ! i 

(D - Af)^ + p{^v)z - 0 (8,5,4) 

我们从引理 8.5.2 知 D - XI 非奇异，这样. 

v G span | (D - Xl) ^ 1 , 

因此成立 (c), 而且，若我们在等式 （8.5.4) 两边同乘以 z t (D ' 
AJ) _1 则有 

z T v(l f pz^(D - Xl )~ l z ) — 0. 

由引理 S .5.2, z t i ； 乒 0, 这样就证明了若 A € A(D + ^^ T )， 则 
/( A ) =0.我们必须证明/的所有零点是 D + pzz T 的特征值且相 
互交织的关系式 ( b ) 成立. 

为达此目的，我们仔细看看等式 

十…十 

注意到/在它的极点之间是单调的.这使我们有结论若 
0,则/恰有 K 个根，在以下每个区间里有一个 
{ d n , d n - i ) Ad 2 , di ) 

若 p<0, 则/正好有 n 个根，在以下每个区间有一个 
(- 00 ，…乂 

在两种情形下 T 可知道/的根正好是 D + fm * v T 的特征值. □ 

定理表明要计算 V ,我们应 U ) 用牛顿型算法找出/的根 
且 （ b ) 对〖二1:心通过正规化向量来计算 
V 的列向量.即使有重复的式和零分量 Z ,， 可得到同样的求解方 
法、 
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定理 8.5.4 若 D-diagWi ，…，尤）且则存在一正 
交阵 h 使得若 ^DVfdiag^， …，〜）且 w=Vjz 

/^1 > 〉… > 户「> /V 4" I > …， 

对/ = 1: 7,叫#0. 且对 i = r 十 1 : ，叫 = 0, 

证明我们给出一个构造性证明，它基于两个基本运算： 

(a) 假设对某个 i < 3 有式 ■= < .令 jU，j J) 是在 U，i) 平面上的 
旋转变换，具有性质 J(“j 的第 J 个分量为零.不难证明 J 

(M，0) T DJ(M』）= D .这样，若有一个重复的我们就能使 
z 的一个分量为零 .（b) 若$乒0,且 £<) ，则令 P 是 f 和 j 列互换 
的单位阵，可推出 P T DJ> 是对角阵， （P T d^0 且沙 1 ^)., ^■这 
样，我们就能将为零的 A 放在“底部”.很明显，重复 （a) 和 （b) 步就 
能得到所需的标准结构 .Vi 是这些旋转阵之积. 口 

关于我们上面所给出的求解算法的讨论，可见 Barlow (1993) 
和其中的参考书. 

8.5.4 分而治之方法 


我们现在来讨论计算三对角阵 r 的 Schur 分解 

Q r QT - A - tikgU! ，…， A rt )， Q t Q - I (8.5.5) 
的分而治之方法，它包括 U)“ 撕” r 为两半 （b) 计算这两部分的 
Schur 分解 .（c) 合并两个一半宽度的 Schur 分解为所需的全尺寸 
的 Schur 分解.整个算法由 Dongarra 和 Sorensen ( 1987 ) 提出，它 


适于并行计算. 


我们首先证明 r 是怎样“分成”两半，再加上一个修正因子. 
为简单起见，设《 =2m . 定义如下 


r.(m)n 

c m 


(8.5.6) 


注意到对所有的 p€R. 除了“中间四个”元素： 


r (； 


m : m 


1) 


p 

Pm ~ P*n 


- 0 

a m+ i - f^ 2 - 
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外矩阵 r = r - 和 r 相等.若我们令 ^ = 则 



其中 




h v … 

0 ] 


"^mtl h … 0 

r】 = 

bv 

<12 


， t 2 - 

^m+2 

: b n - l 

1 

_0 

… b m -i 

^rvr > - 

1 

. 0 … b„—\ a n _ 


且 apj _ P + \ — 。讲 + 1 _ pQ . 

现在假设我们有阶正交阵2彳和 q 2 使得 qt Ti2i = 
A 且= D 2 均为对角阵，若我们令 


- I%!! 

则 


其中 


U t TU = lf\ 


0 



U = D 


「Di Ol 

D — 

L 0 D 2 」 


是对角阵且 


^ = U T v = 


~Qle m ~ 


比较这些等式我们看到有效地综合这两个一半宽度的 Schur 分解 
需快速而稳定地计算一个正交阵 V 使得： 

V T (D + ps ： z T )V = A = diagUi ， … ， 夂）， 


对此我们在 8.5.3 节中已作了讨论. 
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8.5.S 并行处理 


已作了分开和综合运算后，我们准备演示整个过程及在多个 
处理器上是怎样实现的.为清楚见，设〃 =8/ V ， N 为正整数，可作 
三分块.像图 8.5.1 所示，我们用二叉树来图示此过程.指标注 
在了二叉树上.图 8.5.2 图示了 -个结点，它代表三对角阵 T ( b ) 
的特征系统从三对角阵 r (6 a ) 和 T (&) 的特征系统所获得.例如， 
NXN 的矩阵 r ( iio ) 和 r ( m ) 的特征系统综合在一起就产生了 
2 JVX 2 N 的三对角矩阵 T ( ll ) 的特征系统. 



图 8.5.1 计算树 


TU) 



T(i 0 ) TibO 
图 S .5.2 .个结点的综合 

用树结构算法，总会存在危险，当树“爬”到根部时，并行性会 
丢失，但在我们问题中不会出现这一情形.为看清这一点，我们仍 
假定有8个处理器，且 Pkx ; ( M 的第一个任务是计箅 T (6) 的 
Schur 分解，其中 6 = 000,001,010,011,100,101,110,111, 这部分 
计算达到最佳装载平衡及不涉及处理器之间的通信 .（ 我们忽视定 
理 8.5.4 的降阶，这不大可能导致明显的装载不平衡 .） 

在下一个级上，有四个连在一起的操作需 完成： T (00), 
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T (01 ), T ( tO ), T ( ll ) .然而，这些计算都可很好地分块，于是我们 
分两个处理器给每个任务.例如，一旦 r ( oo ) 的特征方程被 
Pr ^( OOO ) 和 PkxKOOI) 所知，则它们都得到一半的特征值和相关 
特征向量.类似地,4个处理器分配给 T (⑴和 T ( l ) 问题.所有8 
个处理器都参与计算 T 的特征值.这样，在每级水平上，完全平行 
性能保持.因为特征值/特征向量计算是互相独立的. 

习 题 


8.5.1 设 A 是对称三对角阵 T 的特征值.证明若 A 有代数重数込则 r 
的次对角元素至少有* - 1个为零 了 

8*5.2 试给出一确定 p 和沒的算法，具有性质 

mini \ a r ~ p \ t I 1 - p I 丨为最大 ■ 

8.5-3 令 / v ( A ) = det (7 - A 厂） 其中 r 由 （8.5.1) 给出.试给 

出计算 A / U ) 的迭代式,并用它来导出能计算 T 的特征值的牛顿迭代式. 

8.5.4 在分配给特殊的上的处理器之间，什么通信是必需的？处 
理重复式以及零元素&的工作可以分享吗？ 

8.5.5 若 T 为正定阵，可以推出 8.5.4 节中的矩阵和 r 2 是正定阵 
吗？ 

8.5.6 设 


其中，… dn ) 有不同的对角元且的元素都不为零. 
U ) 证明若 AGA ( A )， 则 i ) 非奇异 （ b ) 证明若 AGA ( A )， 则 A 是 

/(A) = A + 2 dT^X ~ djl 的零点 ■ 

8.5.7 ^ CA^S + au ' u ^ 其中 是反对称阵， w , 说 

明怎样计算一个正交阵 G 使得 C t >4 G = T + %{其中 T 是三对角阵且反 
对称， q 是的第一列. 

8,5.8 已知 AGA ( D ， 其中 T 6 R " Xfl 为没有零次对角元的对称三对角 
阵.说明怎样从方程 Tr = h 计算 r ( li - l )， 给定&=1. 
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393 . 也见 Wilkinson and Rdnsch (1971 ， 249 — 256). 

K. K. Gupta (1972), “Solution of Eigenvalue Problems by Sturm Sequence Method/' 
In[ [ Numer. Meth . Eng. 4 „ 379 — 404, 
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318—344, 
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Memory MIMD Catnputers, PamiUi Computing 21 7 401 — 422, 

该方法所获得的很详细的计算结果在下列文章中仔细分析了： 

The vexy delicate computations required by the method are carefully analyzed in 

J. L. Barlow (1Q93). w Error Analysis of Update Methods far the Symmetric Eigenvalue 
Pioblan/ SIAM], MutrLcAriaL Appi. M ， 598—618. 

带状对称特征值问埋的各种推广已被 探讨： 

P. Arbenz, W + Gander, and G, H, Golub (1988 广 ^Restricted Rank Modification of the 
Symmetric Eigenvalue Problem ： Theoretical Craisideratiafis," Lin , Alg , ami Its Ap- 
ptic. 104 7 75—95. 

P, Arbenz and G, Hh Gdub (1988) h “On the Spectral Decomposition of Hemiitian Matri¬ 
ces Subject to Indefinite Low Rank Perturbations with Applications t SIAM J r Afiz/rix 
Ami- Appl. 9 t 40—5H. 

一个基于 “ 莆头 ” 矩阵（见题 8.5.7) 的相应分而治之方法在下文中给出： 

M, Ga and S, C, Eisenstat (1995). "A IDivide-and-Canqiifir Algorithm for the Symmetric 
Tridiagcmal EigenprobUm,” SIAM J. Matrix A?7al . Appl. 16 f 172 — 191. 
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§8.6 计算 SVD 


矩阵 A 的奇异值分解与对称阵 A「A,AA T 及 f ° 4 T 1 的 

La 0 」 

Schur 分解之间有着重要的关系.事实上，如果 
f； T AV = diagh ， …, 〜） 

是4 〜 （m>«) 的 SVD， 则 

V t ( A t A)V - diagQf ， …， d ) 6 (8.6.1) 

V t ( AA t )U =-- diagU ?， …， 4，^^) e ：^ Xm - (8.6.2) 

m— n 

而且，若 


t 7 = [ I 7 t U 2 ], 
n m - n 

且定义正交阵 + 为 


则 


Q h _ u ' 




Q = diag(a 






(8.6.3) 

对称特征问题的这些关系使我们可以把前两节中的数学及算法的 
研究应用到奇异值问题.这一节的优秀参考书包括 Lawson 和 


Hauson (1974) 以及 Stewart 和 Sun (1990). 


8.6.1 扰动理论和性质 

基于 §8.1 的定理，我们首先对 SVD 建立‘些扰动结杲.回 
忆一下 1( A ) 表示 A 的第；大的奇异值. 

定理 8.&1 若 '则对 6 = ] ，： minU ，《| 
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,v _ . y T Ar __ . II Ax || 2 

^ _ 51 1 ? II ^ II 2 II ^ tl 2 ~ l| j: II 

d6mn1 = * y£T 

注意表达式中及"和 re ] R m 为子空间. 

证明把定理 8.1.2 应用 T A t A 就得到最右边的式子，余 
下的证明留作练习. 口 

推论 8.6.2 若4和 A + E 均属于 F mX \ ，则对 

是=1: w 有 

I Jjb ( 4 + E ) — ( T ^( A ) ( Ti ( E ) = II E II 2 - 
证明将推论 8.1.6 应用于 

及 f 0 u + £) l 

Lao 」 La + e o 」 


例 8.6.1 若 



"1 

4 ' 


1 4 _ 

A = 


5 

,A + E = 

2 5 


3 

6 - 


3 6.01- 


则 <r(A)= i9.5080,0.7729l 且 <7(A + £)= 0.5145 ，0._7706丨■很 
清楚对 / 二1:2, 我们有 l〜（A+i；)- 〜 U ) I < || E II 2 = 0.01. 

推论 8.6*3 +A = [ ai , …， R w X)1 按列分块， m ^ n . 
若 ，…， a 」 ，则对 r = l:«-l 

C7](A,. +1 )> tj^A^ ^ <j 2 (A r+l ) > *-* > cr r (A r+1 ) > 〜 (A r ) 


^r + i ( A r + l ), 

证明应用推论 8.1.7 于 □ 
最后这一结果是说矩阵増加一列，则最大奇异值增加，最小奇 


异值减小. 

例 8.6.2 

6 

2 7 

3 8 

|4 9 


A 


11 


12 

13 

14 


f ^( A !) - 17,4162( , 

=>\ ( t ( A 2 ) = 119.5377,1.8095}, 

\< j ( A 3 ) = 135.1272,2.4654,0.00001， 
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由此可证实推论 8.6.3. 

下一个结果是奇异值问题的 Wielandt-Haffman 定理. 
定理 8.6.4 若 A 和 A + £属于;则 

公 uu ^ - ^( A )) 2 ^ I ! E \\ 2 f . 

Jb=l 

证明 应用定理 8.1.4 于 

[° ° (…) T 

La o j La + e o J 

例 8.6.3 若 


1 

4" 


1 

4 ^ 

2 

5 

和 A + £ 二 

2 

5 


6- 



6.01- 


则 ^( a k (A + E )- a h ( A )) 2 - 0.472 X 10- 4 <10 4 = !l E \\ 2 F . 

k~i 

见例 8.6,1. 

对于 A ㊀ R mX "我 们说先 维子空间和70^形成一奇 
异子空间对，若 IG S 且了隐含 Ar G 了和 S . 下列结果 
与奇异子空间对的扰动有关. 

定理 8 . 6.5 给定 并假定 y ^.' R n>in 

和"正交，设 

V - [ Vi V 2 ], V ^ W v U 2 ], 
r n — r r m — r 

且 ran( V!)* rantUi) 形成 A 的奇异子空间对，令 ■ 


u h av ^ 

f An 

o 


L 0 

- 


r 

n _ r 

u h ev = 

r 

^12 lr 


^e 2X 

^22 」讯 _ 


且设 
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若 


o = 


mm 


(7 - 7 i > 0, 


II £ " f < *， 

則存在矩阵且 aeR u_r)Xr 满足 



<4 

F 


II g II F 

s 


使得 ran ( V t + V 2 Q ) 和 ran ( V x + U 2 P ) 是 A + E 的奇异子空间 
对. 


证明见 Stewart (1973) ，定理6乂 □ 

粗略地讲，该定理指出 A 的 OU ) 变化能导致奇异子空间 e /5 量 
级的改变，其 中&为 相应奇异值隔离程度的一个量度. 

例 8 . 6,4 矩阵々=土明(2.000丄001,0.999)€， ><3 有奇异 
子空间对 （spanl v t 丨， span 彳 wj ) ,对 f = 1,2,3»其中以,= 4 3 )且 
: d 4) ■设 


矩降相应的列 


u - [ «1 

芒=[云1 





000 0.010 

0.010T 


A 4 

E - 

0.010 1.001 

0.010 0.010 

0.010 

0.999 




k ). 

010 0.010 

o.oia 





U9999 - 

0.0144 

0.007 - 

«2 

丘 3] = 

0.0101 

0-7415 

0.6708 

0.0101 

0*6707 

-0.7616 




4)-0051 

0.0138 

- 0.0007- 




D.9999 - 

0.0143 

o.ooor 

云 2 

03] = 

0.0101 

0.7416 

0.6708 




儿 0101 

0.6707 

^ 0.7416. 


定义了 A+ E 的奇异子空间对.注意到，对 i = 1, i span 丨$丨， 
span 1 Ui I I 接近于 j span I 丨 »spanl u t \ ( ，但对 f = 2 或 3, 不是如此. 


523 • 




另一方面，奇异子空间对丨 span \ v 2 t V2 \^ span ] « > f W3 N 靠近 
S spani 1/2 ' ^3 1 'span i w 2 ， w3 1 L 

8.6.2 SVD 算法 

现在，我们指出怎样用 QR 的变形来计算矩阵"的 
SVD,m>» .初1看，这十分明显.等式 (8.6.1) 使我们 想到： 

• 形成 C = A t A 

• 用对称 QR 算法计算 VfCVediagCd) 

• 用带列主元的 QR 算法于 AV a 求得 

= J ?. 

从 H 的列已正交化得出 l/TACViil) 是对角阵.但是，正像在例 
5.3.2 所看到的的形成可能要导致信息的损失.由干用原 
矩阵 A 计算 [/, 情况还不那么十分坧. 

Golub 和 Kahan (1965) 叙述了 SVD 较好的方法.他们的技巧 
在于对 A t A 用隐式对称 QR 算法，同时求 17 和 V . 第一步用算法 
5.4.2 化4 为上双对角型 


VlAV B 


B 

■ 0 」’ 


B 


e ii ' 


di t \ 0 

0 d 2 *■.： 

:、 \ j 、-' 

0 … 0 ci „ 

于是，剩下的问题是计算忍的 SVD. 为此，考虑二对角阵 T= B t B 
应用 QR 算法（算法 8.3.2): 

• 计算矩阵 


~d 2 m + fi d 丄 - 

- dj n d 2 n + fl\ ? 

的靠近 W +/〖的特征值 A . 

• 计算 t'i = cos(A) 和 a = sin(0|) 使得 


ci si V r \ d 2 { -A] [X ， 

- a'i ci J L^i /1 」 Lo. 
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且令 G 、 二 G (1，2 ，H 

• 计算 Givens 旋转 G 2 T …， Gri ，使得当时， 
Q T TQ 为三对角阵，且 Qe^Gei 
注意到这需要敁式 if •算 B T B . 正如我们所看到的，从数值观 
点来看，这是不明智的. 

而假设把 t 面的 Givens 旋转 Gi 直接应用在 B 上.演示 n = 
6时的情形如下： 


x 

+ 

0 

B*— BG, = 0 

0 


xOOOO" 
x x 0 0 0 
0 x x 0 0 
0 0 x x 0 
0 0 0 x x 
0 0 0 0 x_ 


我们然后能够决定 Givens 旋转 h ， V 2 ，1/ 2 ，…， V n _〗，和匕^把 
不想要的非零元素逐出双对 角阵： 


— UjB = 


^ BV 2 = 


x x 

0 x 
0 0 
0 0 
0 0 
_0 0 
"x x 
0 X 
0 + 
0 0 
0 0 
_0 0 


+ 0 
x 0 
x x 

0 x 
0 0 
0 0 
0 0 
x 0 

X X 

0 x 
0 0 
0 0 


0 (T 
0 0 
0 0 
x 0 

X X 

0 x_ 

0 0 _ 
0 0 
0 0 
x 0 

x x 
0 X- 
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X X 


B - ^ UjB = 


0 X 
0 0 
0 0 


0 0 

_0 0 


0 

0 

0 

0" 

X 

+ 

0 

0 

X 

X 

0 

o| 

0 

X 

X 

0 

0 

0 

X 

X 

0 

0 

0 

x_ 


等.过程结束时得到新的双对角阵 B， 它与 B 的关系 如下： 

— T7 1 B V 

从每个 V t 的形式 + \ t 6 t )( i ^2- n _ t) 得出 Vo = 

由隐式 Q 定理可以断言 V 和 G 实质上是相同的.这样，通过 


直接处理双对角阵 B 就可隐式地完成从: T 到 f = S T B. 

当然，要使结论成立，所论的三对角阵必须不可约，由于 B r B 
的次对角元的形式为 4 m /,， 显然，必须检査双对角带上的零元 
素，若对某个々，有 / t u=0, 则 

U = [ Bl 

L o B 2 \ n - k 

k n - k 


而原来的 SVD 问题就分成 A 与 if 2 的两个较小的问题.若对某 
个是， A = 0，则在乘-系列 Gi vem 变换可使 A 为零.例如，若 w = 
6且々=3,则使（3,4),(3,5)及(3,6)平面进行旋转，就可把第3 
行化为零. 


B = 


"x 

X 

0 

0 

0 

on 


X 

X 

0 

0 

0 

O' 

0 

X 

X 

0 

0 

0 


0 

X 

X 

0 

0 

0 

0 

0 

0 

X 

0 

0 

OA) j 

0 

0 

0 

0 

+ 

0 

0 

0 

0 

X 

X 

0 


0 

0 

0 

X 

X 

0 

0 

0 

0 

0 

X 

X 


0 

0 

0 

0 

X 

X 

0 

0 

0 

0 

0 

x_ 


.0 

0 

0 

0 

0 

x_ 
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(3,5) r 


"x 

X 

0 

0 

0 

0, 


X 

X 

0 

0 

0 

0" 

0 

X 

X 

0 

0 

0 


0 

X 

X 

0 

0 

0 

0 

0 

0 

0 

0 

十 

(3,6 )、 

0 

0 

0 

0 

0 

0 

0 

0 

0 

X 

X 

0 


0 

0 

0 

X 

X 

0 

0 

0 

0 

0 

X 

X 


0 

0 

0 

0 

X 

X 

_0 

0 

0 

0 

0 

X 」 


0 

0 

0 

0 

0 

x _ 


若 < = 0, 则对平面 （/I - lj 7 i ) An -2， tO ，一，（1 ，ti )进行一系列 
旋转，把最后一列化为零.这样，若/ 〆 *•/„ — = 0或心…尤= 0,则 
我们可以降阶. 

'' 算法 Hl ( Golub ~ Kah a n SVD 步骤）给定双对角阵 
r * x ”， 其对角元与次对角元不为零，下述算法计算双对角阵五= 
JFBV 来覆盖 B ， 其中 IJ 和 V 是正交阵.实质上，〒是对7= B t B 
应用算法 8.3.2 获得的正交阵. 

令"是 r = B T B 尾部2 X 2 子矩阵靠近的特征值 

y = t u -fi. 


for 焱 =1: 打 一 1 

确定 c = cos ( 0 ) 和 s = sin ( 0 ) 使得 



B = BG(k,k + l t 6) 


y = bkk'z = b k + \k 

确定 c = 003(0)和 s = sin ((3) 使得 


—s 



B^G(k t k + l ， d) T B 
if k<n~ 1 


y-^k,k + i ： z= ^k t k+2 

end 


end 
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为了有效地实现该算法,应分别用数组和 /(1:« -1) 来' 
存储 B 对角元和上次对角元素，并且需 30^ 个 flop 和个平方 
根运算.累积 [7 另需个 flop, 累积 V 需个 flop. 

一般地，经过几次上述的 SVD 迭代，上次对角元九变得忽略 
不计.判定 h 的带中的元素为微小的准则，通常为 
i /, l<c(l d { - x 1 + 1 必 I) 

I d, l<e || B || 

其中 e 为单位舍入误差的一个小 倍数; 而 Ml 是计算上简便的范 
数. 


把算法 5.4.2( 双对角化），算法 8.6.1 以及前面所述的分离 
计算结合起来，便可得到下述算法. 

算法 8.< i .：2 (SVD 算法）给定且为单 
位舍入的小倍数），下述算法计算 U t AV^D + E 来覆盖 A ，其中 
"为正交阵， VGR HX "为正交阵，为对称阵，£ 
满足 II £ || || A || 2 . 

用算法 5.4.2 来计算双对角线化. 

^ UV"t/J T A(WU‘ 


until q = n. 

对 ；=1: n - 1 ， 若 I 6, v + 1 I ( I k ! 十 I 6 l + lf t + 1 ! ) ■里 b iii + i 
为零. 


找最大 q 和最小左使得若 

B n 0 0 

B = 0 B 22 0 

_ 0 0 B ： 

p n — p — q q 

則 B 33 为对角阵且的所有上次对角元不为零. 


P 


q 


if q<n 

if B 22 的某对角元为零，则调整该行的上次对角元为零 _ 


else 
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对应用算法 8.6.1 

B-diag{Ip,U f I (1 + m -„) T Bdi3gU p ,V y l q ) 

end 

end 

end 

该箅法所需工作量及其数值性质已在 §6.5 讨论 ■ 

例 8.6.5 若算法 8.6.2 应用于 



則上次对角元如下所示收敛 于零: 



现察到收敛是立方的. 

8.6.3 Jacobi SVD 算法 

将§ 8.4 中的 Jacobi 算法用于求解 SVD 问題是很显然的.代 
替求解一系列 2X2 对称特征值问题，我们求解一系列的 2 X 2 
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SVD 问题.这样，对一给定的指标对 (>,<3) 我们 il 算-对旋转阵 
使得 

卜 hr 卜叫 [Q 卜 0 ] 

Cl J ^a qP t ' 2 」 L 0 dy 】 

见题& 6.8 .导致的算法称为双边的，因为每个校止包含一个左乘 
和右乘. 

单边的 Jacobi 算法包含一系列的两列向量的止交化，对一给 
定指标对(户 4 )，选定一个 Jacobi 旋转 （p 4 J ) 使得 Aj ( p iq , 6 ) 
的 夕和 列互相正交.见题 8.6.8, 注意这对应于使 A t A 中（户， 
g ) 和 U ， p ) 元为零.一 a AV 的列足够正交， SVD 的其他部分 （U 
和 £) 可由列加权 t / S 得出. 

习 题 


8.6.1 证明若是具有重奇舁值的上双对角阵，则 B 在其对角 
线或上次对角线上一定有一个零. 


8-6.2 用的奇异向量来给出的特征向量 

IA 0 J 

公式. 

8.6*3 给出一个用复 Househdckr 变换来化个复阵4为实双对角型 
的算法. 


■忍 _ ^ -j 

8 .6.4 帽值和奇异向，与 AmCU ’ 


CeM mXn ) 的奇异值和奇异向量之间的关系. 

8.6.5 完成定理 8,6.1 的证明， 

8.6.6 设 n MSer 1 ^ 为反对称的三角阵，证明 存在一 个置换 

阵 P6JT X " 使得 F T SP 具有如下 形式： 


P T SP = 


0 

-B 


0 . 


描述 Bi 说明如何利用 B 的 SVD 分解 n •算 S 的特征值和特征向量，同样考 
虑 n = 2 m + X 的情形 ■ 

8.6.7 (a) 令 
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为实阵，给出一个稳定算法来计算 f 和 h yP =1 .使得 
= [ 二： ]_ c 

为对称阵 .（ b ) 用 Jacobi 5角计算弁结合 （ a ) 给出一稳定算法用以计算 C 的 
SVD . ( c )( b ) 部分可用来提出用来计算奇异值分解的 Jaxxfci 型算 
法.对于给定的0,(7)，户 < Q ， 确定 Jacobi 变换扪和使得 
若 

B = J{p,q ,8y Aj{p y q t 6 2 ) , 

则、=\ = 0,证明 

off{B ) 2 = cff(A ) 2 - b 1 ^- b\p- 

怎样确定 f 4 呢？此算法应作何修正，以用来处理当的情 
形呢？ ' 

8.6.8 令，定义正交阵 Q 为 



给出一计算 c 和 s 的稳定算法使得的列相互正交 ■ 

8.6.9 设为上双对角阵= 0.说明如何构造正交阵17和 
V ( —系列 Givens 变换之乘积），使得 V t BV 为第 n 列为零的上双对角阵. 

8.6.10 设是具有对角元素 d(l : «) 和上次对角元素 
/(!：«- 1) 的上双对角阵.陈述并证明定理 8.5. 1的奇异值分解. 
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§8.7 一些广义特征值问题 

给定一对称阵 4 "和一对称正定阵我们考 
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虑如何寻找 非 零向量 I 和标量 A 使得 Ar = Aftr . 这就是对称正 
定广义特 征问题 .标量 A 被认为是广义特征值.随着； I 变动_ 
AB 定义了一矩阵束，我们的任务是确定 

A(A t JJ) - U I det(A - AB) = OK 
-个对称正定广义特征问题用一个等价变换可以化为一个等价的 
问题： 

A - 奇异 ㈡ (X T AX) - X ( X t BX ) 奇异. 

这样，若 x 非奇异，则 aU,b) = aU t ax,x t jjx). 

在这一节，我们要提出通过仔细选择 x 来提出求解这种特征 
问题的保持结构不变的不同算法.有关的广义奇异值分解也同时 
讨论. 


8.7.1 数学背景 

我们要找一个稳定而有效的算法来计算 X ，将 X T AX 和 
x t bx 都化为“标准型”.所追求的明显形式是对角型. 

定理 8,7.1 设 A 和 B 是 ? J X «对称阵，定义 C ( u 、 为 

C(w ) = uA 十 (1 — u G - (8.7.1) 

若存在一 M e [ o ， i ]， 使得 c ( M ) 是非负定阵，并且 
null ( C ( M )) = null ( A ) f | mill ( fi )» 

則存在非奇异阵 X ，使得 X r AX 和都是对角阵. 

证明选取^€[0，1]，使得 <：(#) 为非负定阵且具有性质 
null ( = null ( A ) Pi null ( B ) ■令 

QjCi^Qi = D = diag(^i >0 

是 C (/0 的 Schur 分解及定义 Xi = Q t diag ( D_ l U 
若 ，且 户），则 

Cl = ft U = Mi + ( 卜 ") 丑 1. 

由于 spanUjt + i ，...， e n 丨 = nuli(Ci ) = null ( A ) 门 nulKB ) t 可知 ^ 
和都有以下分块 结构： 
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= 


'A u 

0, 

1 

k 

B]= 

'Bn 

O' 

- 0 

0 」 

n - k 

■ 0 

0 」 

k 

n — 

k 


k 

n — i 


而且 = wAn + (l ‘ w ) Bj i. 

设 // 參 0- 可知若 Z T B u Z = diag(6i ， … 上）是的 Schur 分 
解且我们令 XsXidiagCZA ,) 则 

X t BX = diagh ， … ，〜 ’0,… ， 0)ED s ， 


且 


X r AX= 七 X T (C ( 卩 ) -(1 - ^)B)X 

[J 以-(1-")% 卜 A . 

另一方面，若/£ = 0»则令 Z T A n Z = diag ( a !,…， a n ) 是的 
Schur 分解，且令 X : X^iag ( Z , t ) ,易证，在这种情形下， 
和 X T BX 为对角阵. □ 

通常，由于4或者 B 是正定阵，定理8 . 7 . 1的条件能够满足. 
推论 8.7.2 若 4- ABeR nX " 是对称正定的，则存在一非奇 
异阵 X = [ A ，… f x „] 使得 

X t AX = diag(ai ， … ， a n ) 且 X T BX = diag(^M ， … ， 心）， 
而且， j 4 x ,- — Aj & r ,. ，对 f = 1: w ，其中 = a ^/ bi , 

证明 在定理 8.7.1 中令 p 二0我们看到对称正定束同时对 
角化，推论其余部分易证明. 口 

例 8.7.1 若 

_「229 1631 _ [81 591 

A = 1-163 116 J ' B = 1-59 43-1' 

则 A - AB 是对称正定阵且; UA ， B )= |5, - l /2 i . 若 

X = 

則叉 7 狀=出祕(5, -1) 及 X T BJt = diag ( l ,2). 

Stewart (1979) 给出满足 
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c(A,B) = min (x T Ax) 2 十 (x T Bx) 2 > 0 (8.7.2) 

II ^ li 3 -1 

的对称束 A-AB 的扰动理论.标量 C(A，B) 称作束 4 - AB 的 
Crawford 数 ■ 

定理 8.7.3 设4 - AB 是一个? i X « 对称正定束，具有特征 
值 

又1 >又2 > … > 又” ■ 

设^ 和 E B 是 nXn 对称阵，且满足 

e 2 = II E A \\l^ \\E B \\l<c{A t B). 

则 （A +£ A )-A(B + £ b ) 对称正定，其特征值 

户 1 

对 i = 满足 

I arctan(A,) - arctan{ ^ ) I 
^arctan(e/c(A ,B)). 

证明见 Stewart (1979>. □ 

K.7.2 求对称正定问題的方法 


我们转来考虑算法，首先给出一个既用 Cholesky 分解又用对 
称 QR 算法的求解对称正定问题的方法. 

算法8,7_1给定 A = A T eR" x "和 B = B T eR n > "其中 B 为 
正定阵 t 本算法计算一非奇异 X 阵使得 X T BX = 且 X T AJi ： = d ^ 
agUi ， … ， a„). 

用算法 4.2. 2,计算 Cholesky 分解 B = GG T . 

计算 CsGHAGT 

用对称 QR 算法计算 Schur 分觯 G T CQ = diag(ai, …， a rt ). 

♦ X=G 

此算法需约个 flop. 在实际应用中， A 能被矩阵 C 覆盖. 
详见 Martin 和 Wilkinson (1968c). 注意到 

A(A ， B)= A(A ， GG T ) = X{G~ l AG- T t n 
二 A(C) = Ui ， … ， aj. 


苫 I 是由算法 8.7. t 求得的特征值，则能证明 l € A ( C _ l AC_ T 
+瓦），其中 1U'. || 2 ^« ilA II 2 * ?： B _1 IU , 这样，若 B 是病态的， 
则由于舍人误差影响，即使七是良态的广义特征值，也会严重损 
害& 的值.当然，在此情况下，矩阵 C = Gd 4 C T 可能有一些很 
大的元素，故 G 是病态的.在算法 S .7.1 中用代替矩阵 
G, 有时能克服这困难，其中 V T BV = D 是 B 的 Schm ■分解.若 
D 的对角元从小到大排序，则 C 的大元集中在左上角.这样，计算 
C 的一些小特征值不会有太大的舍人误差影响.（或者说直观上 
应如此）.更进一步的讨论，请参阅 Wilkinson (1965, 337〜338 
页 ）i 

例 8.7.2 若 




2 

3_ 

"0.001 

0 

0 _ 

A = 

2 

4 

5 和 G = 

t 

0*001 

0 


3 

5 

6J 

2 

1 

0.001- 


&B = GG T . 则 A XB 的两个小特征值为 

ai =-0.619402940600584, 

= 1.627440079051887. 

若使用17 位浮点运算，则把对称 QR 算法用到 
V T AVD-^) 时，计算的特征值达到机器精度，其中 B 
= VI > V T 是 B 的 Schw 分解.另一方面，若用算法 8.7. J . 则 
ai --0.619373517376444, 
a 2 = 1.627516601905228, 

只得到4位准确有效数字，其原因在于 ^ 2 (S)^10 18 . 

用4和 B 的适当凸组合代替 B , 有时能改善算法 8.7.1 中矩 
阵 X 的条件,变动后的矩阵束之特征值与原矩阵束特征值的关系 
已在定理 8.7.1 的证明中详细说明， 

涉及到算法 8.7.1 的其他困难都是围绕如下事实 ：即便 4和 
B 都是稀疏阵， GdAG - T 也是满阵■这是一个严重问题，因为实 
际中许多对称正定问题都是大型稀疏的. 
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Crawford (1973) 已指明当 4 和 B 为带形阵时，如何实现算法 
8, 7.1 .但是，除此之外，同时对角化方法对大型稀疏对称-正定问 
题是行不通的. 

另一个想法是将 Rayleigh 商迭代作如下 推广： 

给定: To , II ^0 li 2 = 1 
for 右= 0，1，". 

pijf = (8,7 * 3) 

解 (A - ) z k + i = Bx k 得之 k +1 

^k + l = + II 1 II 2 

end 

该迭代的数学基础是 

又 =♦， (8.7.4) 

工 Bx 

使 

/( A ) = || Ar - ABx || B (8.7.5) 

达到最小，其中 [[ * IU 定义为 iU li r = z T B - l z . (8.7.3) 与 
(8.4.4) 有相似的数学性质，其可用性取决 T 能否容易地求解 （A 
-城 U = 类似的评论可用于下列广义正交 迭代： 

给定 Q o eM n ^, J - QfQ 0 =^ 
for k = 1,2,*** 

从 — i 解出厶 （8,7.6) 

Z k = QkR k (QR 分解） 

end 

在数学上，这等价于在 （7.3.4) 中用替换其实用性 
与解取决于能否容易地求解形如 BZ = j 的线性方程组 . 

A 和 B 有时会大得无法实行 (8.7.3) 和 （8.7.6) .在这种情况 
下，可以借助于一些梯度算法和一些坐标松弛算法.那里有丰富的 
文献介绍可见 Stewart (1976). 
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8.7.3 广义奇异值问题 

我们以形如 A t A - AB t B (其中 A 之対 

称束的一些评述来结束本节.这个柬构成广义奇异值分解 
(GSVD) 的基础，该分解在一些带约束的最小二乘问题中是有用 
的■(参阅 §12.1 ) ■注意到由定理 8,7.1 可知存在非奇异阵 
使得 X t ( H ) A ： 及 均为对角阵 .GSVI) 的 

价值在于不必形成 A t A 和就可完成其对角化. 

定理 8,7. 4 (广义奇异值分解） 若我们有 
且 B 6:^ Xn ，则存在正交阵 ue : r r>XT \ 和可逆降 xe 

E nX ”使得 


U t Ajt= C = dlagCctr'-t^), c, ^ 0, 

V J Bx = S ^ diag(u ，…， ~)， i, >0, 

其中 g = min ( p ^ n ). 

证明该分解之证明发表 f Van Loan (1976). 我们根据 
Paige 与 Saunders (1981) 给出一个更有构造性的证明.为清楚起 
见，我们设 mjlKyOflnulKB ) 二 |0 t 且户我们把此证明推广 
到所有情形的工作留给读者. 

令 


是 QR 分解，其中 Q l eB mX \ Q 2 eKm U Paige 和 

Saunder 证明了在 


Qi - UCW T t Q 2 = VSW T (8.7.7) 

意义下， Gi 和 Q2 的奇异值分解是相关的.这里 17, V 和 W 为正 
交阵， 

C= diagici), 0< q …< c„, 

S = diag ( s ,) f 其中 

且 C T C + S T S =4.(8.7-7) 的分解是 §2.6 的 CS 分解的变形， 


- 540 ■ 




从它我们有结论 A ^ QyR ^ VC ( W r R ) 和 JJ = Q 2 R = 
VS( W T U). 

通过令 X = ( W 「 U) _i ，/> A = C 和 / > B = 5即可得到定理 ■ J ? 
的可逆性可由假定 mjii ( A ) nn U ii ( B ) 二 ior 町得. 0 

集合，…， q / y 的元素称为 A 和 B 的广义 
奇异值.注意，隐含着 ^ GaUTAJTB ), 以上定理 
是 SVD 的推广，因为若 B = J „ ，则 a ( A t B ) = a ( A ). 

由 f Skwairt (1983) 和 Van Loan (1985) 年已指出怎样稳定 
计算 CS 分解， GSVD 的证明在实际上就湿得很重要.惟一棘手部 
分是求 W r R 的逆以得到 X. 注意到欠=[^，一，〜]的列满足 
i?A T A,ri = cjB T BjCj , / = 1 : « ， 

这样若\尹0,则 A T Ax, , 其中 <7, = q/v 于是， A 称为 

U,B) 对的广义奇异向量. 

在几种应用里，需求某些设定的广义奇异向量子空间 
spanli ^ 丨的一组正交基.我们来说明不用求任何矩阵的逆 

或交叉乘积就可完成这个任务. 

• 计算 QR 分解 

[ 譜 . 

* 计算 CS 分解 

(2i = vcw T Q 2 = VSW T 
对 c ， s 对角阵排序使得 

lq / 勾 1 = Iq] A !s ，…， £、/'I ■ 

• 计算正交阵 z 和上三角阵 r 使得 rz = (见题 

8.7.5). 注意若 = IV T J ? = TZ ， 则 X = Z t T _1 且 Z 
的前々 行是 span hr 1 ，…，: r J 的正交基. 

习 题 

8.7,1 设是对称阵及 G 6： R " X "是下三角和非奇异 * 给出计算 
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C = G _1 AG _ T 的一个有效 算法. 

8.7.2 设"对称及是对称正定，试给出一个利用 
Cbolesky 分解和对称 QR 算法计算 Afi 特征值的算法. 

8.7.3 证明如果 C 是实的和可对角化的，那么存在对称矩阵4和 
B 非奇异，使得 C = 这证明了 XJ 称束 A - 沾基本上是具有一般性的. 

8.7,4 如果 A 和 B 均为对称和非负定，试证明如何将 ABx 问题 
转化为一个广义的奇异值问題， 

8.7.5 给定证明怎样计算 Householder 矩阵 H 2 , …，使 
得 YH „〜 H 2 = T 是匕三角阵.提示：扎将第是行清零. 

8.7.6 假设 

[::] a- [: ：][：]• 

其中“，且 '假定 和是正定的且有相 
应的 Cbolesky 三角阵 G , 和找出该问题的广义特征值和 G ^ AG ^ t 的 
奇异值的关系. 

8.7.7 设 A 和 B 均为对称正定. 说明如何用 Cholesky 分解和 CS 分解 
来计算 A ( A , B ) 和相应的特征向量. 
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第九章 Lanczos 方法 


§9.1 方法的导出及收敛性 

§9.2 实用 Lanczos 方法 

§9.3 应用于 Ax 二 b 和最小二乘 

§9.4 AmoUli 方法与非对称 l^anczos 方法 

在本章，我们介绍 \ Mnc 7 ns 方法，它可以用来解特定的大规模 
稀疏对称特征值问题毛 r = Ax. 该方法涉及到对给定的矩阵 A 进 
行局部三角化+然而 ，与 Householder 方法不同的是，在算捨过程中 
不会有满的子矩阵产生.同样重要的是的两端的特征值的信 
息在三角化完成之前早得多就已出现.因此，在只需要矩阵 A 的 
少量最大或最小特征值的时候， Lanczos 方法有明显的优越性. 

在 §9.1 中，我们导出了该算法并给出了它确切的运算 步骤； 
详细讨论了 Kaniel-Paige 理论的关键 部分. 此理论解释了 Lanczos 
方法惊人的收敛性质.不幸的是，舍人误差使得 lanczos 方法在实 
际中难以应用.其核心问题是迭代过程中产生的 Unczos 向量会 
失去正交性.为此，在 §9.2 中，给出了几种处理这一问题的办法， 
在 §9. 3中，我们将说明如何用 Lanczos 方法的思想来解决奇 
异值问题，最小二乘问题及线性方程组问题.特别有意思的是导出 
了求解对称正定方程组的共轭梯度法.下一章将进一步探讨 
Lanczos 方法与共轭梯度法之间的联系.在§ 9 . 4中，我们讨论了 
建立在 Hessenberg 分解基础上的 Amoldi 迭代法和（有时）可用来 
三对角化非対称阵的 Lanczos 方法. 


预备知识 

§9.1 〜 §9. 3需要第五、八章的知识， §9. 4需要第七章的内 
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容.本章的内容其依赖关系如 下 ： 

§9.1 §9.2 — §9-3 

1 

§9.4 

Brown , Chu ， Ellison 和 Piennmons ( 1994 ) 收集了 大量的有关 
Lanczos 方法的论文.其他的补充参考文献包括 Parlett ( 1980 } , 
Saad ( 1992 ) 和 Chatelin ( 1993). Oitlum 和 Willoughby ( 1985 a ， 
1985 b ) 的两卷书包括了算法的分析与软件. 


§9.1 方法的导出及收敛性 


假定为大羽、稀疏的对称矩阵，且只需要求出它的 
少数几个最大或最小的特征值.这个问題可用 Lanczos 于1汜0年 
提出的方法解决.此方法产生一列三对角阵 A ，其最大与最小特 
征值越来越好地近似 A 的最大与最小特征值，本节将导出这一技 
巧并研究其确切的运算特性.在本节中，用 A 代表第；个最大的 
特征值. 


9.1.1 Krylov 子空间 


导出 Lanczos 算法的方式有好几种.我们倾向于利用求 
Rayleigh 商/ = I 关0的优化问题来引人该技巧，从而 

jC X 

它惊人的收敛性不会来的太突然.由定理 8.1.2 知， r ( i ) 的最大、 
最小值分别为以…与义/⑹.假设是正交向量列.令 

风 = = trgJc y = | n | a ^ 1 r (Qfcv) ^ 

叫亡 hiQlMh) = 要 ? ） ^ A y^ y = ⑷’ 

其中仏=[91，…，也].考虑如何产生办，使得崎和叫是; U ( A ) 
和 A fi ( A ) 越来越好的近似，就可导出 Laticzos 方法- 
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设 span 彳 gi , . ■. ，％丨且= r ( w 々）. 由寸 1 r (: c ) 在梯度方 
向 

VrU) = |(Ar - r(j ： )jc), 
r .r 

增加最快.所以，如果选取％+ L 满足 

Vr(u k ) G span S q { ， … ，办 ] 丨， (9. 1 . 1) 

我们有风 + | > M * (这里假定 D r ( u k )^ 0 ). 同理，如果％ G 
spanii ，…1且 r ( 我们选取 ％ + i 使得 

▽ r ( 办）€ span ! 1 , (9. 1.2) 

因为 r ( x ) 在负梯度方向 - a (. r ) 下降最快. 

初看起来，要寻找一个笮独的向量满足两个条件似乎不 
可能.然而，因为 ▽ rU ) espanU ， A ^ ，如果 

spanfw〆 ”， gj = span ! qi ， Aq l 7 "- " 1 ( 7 l [, 

且选取 A + 1 使得 

spanlyi 1 = span!^! ,A7i x q\,A k q\\ t 

则很明显 （9.1.1) 和 (9.1.2) 可同时满足.于是，导致了计算 Krylov 
子 空间： 

K(A ’q^k) = apaniqi，Aq I，- - ,A k ~ L qi } 

的标准正交基问题.这恰好就是 8. 3. 2 节中碰到的 Krylov 矩阵 
K(A , qy ， n ) = [ g ! ， A * ，…， AHq ,] 的像空间. 

9.1.2 三对角化 


为了能有效地找出这组基 f 我们利用矩阵4的三对角化与 
K ( A T <?1 ， n ) 的 QR 分解之间的关系.设 0 T A 0 = r 是二对角阵， 
且= W ， 则 

K { A . q v , n ) = Q [ q ， Tq ， ： T 2 ei ，…，詳 L ^]. 

这正是分解，其中 q = 用第 

一列为^的正交阵来三对角化阵4就能有效地来求出％. 

在 8. 3 . 1节中讨论过的 Householder 三对角化可用来达到选 
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-目的.然而，当 A 是大型稀疏阵时，这一方式是不可取的，因为 
Householder 相似变换会破坏矩阵的稀疏性.其结果是在5对角化 
的过程中将产生了无法接受的大型稠密矩阵. 

有时，用 Givens 变换可以控制矩阵稀疏性的破坏，见 Duff 与 
R e kl(1976) .然而，当 A 稀疏时，大多数情况下，任何通过逐步修 
正矩阵4来计算 T 的作法都是不吋取的. 

这建议我们直接计算=对角阵 T = Q t AQ . 令 Q = [^， 

«i Pi 

T = *-■ \ 

爲 -i 

- 择 ft -1 - 

比较矩阵方程 AQ = 0 T 的列，对是=1:«-1有 

Mk = A-1 办 -1 + a k q k + 爲沿 + 1 ， = 0. 

利用 U ,， 丨的正交性可得 h = <lkMk- 而且，如果 r k = ( A - ak T)qr 
爲 - 1% - 1 非零，则办 + 1 = r * / ft ，其中 A = 土 II II 2 .若 o = 0，则 
迭代停止，但（我们将看到 >已得到关于不变子空间的有价值的信 
息.因此，整理上述迭代公式的顺序，我们得到如下的 Lrniczm 迭 
代算法： 

while (爲 #0) ， 

qk+i = r k /^ k \k = k l; a k = qjAq k i 

r k ^ (A - a k l)q k - ( 9 . 1 . 3 ) 

啟 =II ^ II 2； 

end 

不失一般性，在上述算法中取爲为正数.办称为 Lanczos 向量. 

9.1.3 终止与误差界 

当^包含在一个真不变子空间时，在完全三角化之前迭代就 
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会终止.这是 Unczoa 方法的几个数学性质之、我们将其概括如 
下： 

定理 9.1.1 设 A 为对称阵， 『且|| w | 2 = 1. 

则 Lancaos 迭代 9.1.3 进行到第 k 二 m 步终止，其中 m - rank 
{A y qi ， n ). 此外，对所有的 k — l：m , 有下式成立： 

AQi = Q k T k + (9.1.4) 

其中 


且仏= u】 ，幻，…，％]的列正交， ran (仏） =K(A ，是） ■ 

证明对々进行归纳法证明.假设迭代已产生込= 
spaniw ,...， 沿（，且 ran (仏）= K ( A ， <} i ， k 、， Q 飞 Qk = h - 从 （9. 1 ‘ 
3) 很容易得知 （9.1.4) 式成立.因此，£?1>4込 = L + (2 JrfI . 既然 
有 a , = qjAqi ,i = \ik 和下式： 

Ql^iAqi = qJ +1 (Aqi - - hi-i) 

=ql+i(U = A ， 〆=u -1 

成立，因而■所以 Qjr k ^0. 

如果则 ^ *-1 ~ r k / II q || 2 与 q \, …， qk 正交 ，井且 
Qk +\ 6 spanj ^ K { A , qi t k + 1), 

因此， Gr + iG“i = 心+ 1 ，且 ran ( Gjt + 1 ) = K(A f qi , k +1) ■相反， 
若 G = 0, 则 AQ ^ — .这表明 ran (仏） = Jf ( A ， gi ,々） 为不变 
子空间.由此可得会二州 = rank ( K ( A ，以，??））. □ 

在 Lanezos 迭代中，爲为零是受欢迎的，因为它标志着已计算 
出一椿确的不变子空间.然而在实际计算中，出现一个恰好为零, 
甚至很小的爲，是很少发生的.不过，乃的最大、最小特征值倒是 
A 的最大、最小特征值极好的近似.因此，必须寻找 关于乃 的特 
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征值收敛性的其他解释.下面就是这样一个结论. 

定理 9 . 1 , 2 假定 Lanczas 算法已进行了 Jfe 步，且三对角阵 
T k 的 Schur 分解为 SjT ^ i k = diag(di ，…，仏）.令 Y k = [ y \ t y 2t " m f 

li Ayi - 6^ || 2 = I A I • I k I ， / = 1 :是， 

其中 & = (Spqhxit- 

证明 在 (9.1.4) 右乘 S A 得到 

AY k = Y k 6is%{d lt -^d k ) + r^JS k , 

于是 

^yi = Oiyi + r^e'lS^i . 

取范数且记住 II 7, ll 2 = i ^ l 即知定理成立. □ 

此定理给出了 A 与4的特征值的一个可计算的误 差界： 
mi n | $ - 户 1 < | 爲 | * | 4 I，= 1 : 是 ■ 

^t€A(A) 

注意，用定理 8.1.15 中的术语，（久，30是子空间 raii ( a A ) 的 Rh 
对. 


Goiub(1974) 描述了用I来估计 A 的特征值的另一种方法， 
它涉及到构造一个秩1矩阵£:使得 ran (Gd 为 A + E 的不变子 
空间，特別地，如果我们用 Lanczos 方法来计算 AQ k -- + 

r#I， 且令 E = ，其中 r = ± l t 7 ju = aq k + 6/^ ，贝 !j 可证： 

(4 + = Qk(T k + m 2 ei£j) 十 （1 十 Tab)r^ J k . 

若 l + ra6 = 0, 则三对角阵 T k = T k ^ ra 2 ek ej 的特征值也就是 A 
+五的特 征值. 由定理 8. 1.8 知，对；= 24区间 U ;( fi)， 
包含了 A 的一个特征值. 

这些区间依赖于 ra 2 的选取.假设已有 A 的一个近似特征值 
A . m 2 的一种可能的选取是使得 det(T, - XI k ) = ( a k + ra 2 - X ) 
Pk i，U) -處 - i /^-2(A) 亡0,其中 Pi(x) = det(r, — 可用三 
项迭代公式 (8.5.2) 计算.这里假定 p k ^( X )^ 0 . Lehmann(1963) 
和 H OU sehdder(196S) 讨论了这种思想的特征值估计. 


■551 




9.1.4 Kaniel-Paige 收敢性理论 


前面的讨论指出如何通过 Lanczos 算法估 il ■恃征值，但它没 
揭露任何有关收敛速度的信息.这方面的结果构成了所谓的 
Kaniel - Paige 理论.以下就是其中之一. 

定理 9.1.3 设 A 为阶对称阵，且特征值为 
A n ，相应的特征向是为 t z n . T k 为用 Lfmczos 方法得到的 


三对角阵（第 A 步得到），其相应的特征值为 


^ I 5^ ^ A 1 


( A ] - A „) tan 2 (^ i ) 

J^Til +~2^)) z } 


其中 oos (^ i ) = 1 1 , Pi = (A 1 — 义 2 )/( A；2 _ q - 1 (x ) 为 ^ _ 1 


次 Chebyshev 多项式. 

证明由定理 8.1.2 知, 




max T 

V^O y y 


( Qfcy ) 1 A ( g fe y ) 


max 

K(A > ^ 1 ^k) 


xv T Auf 

ZJU Tl W 


由于 h 是 zv T Azt//zv t tjl > 对所有非零的 w 取 M 大，故 & . 为 
了得到 h 的下界，考察 下式： 


Oi = max 

叫 1 

其中是所有不高于克 


qj p ( A ) Ap ( A ) q l 
qlp ( A ) 2 q x ’ 

-1次多项式组成的集合.若 yi 



qlp { A ) Ap {A)qi 

q\p{A) 2 q x 


V ； 4^(A,)A, 

l — I_ 

S 4 2 a ) 



> 义 1 _( 又 1 - 乂 n) , ~ n ~- 

d\p 2 (X A ) + 

i =2 

为了能得到一个较好的 r 界，我们选取多项式 Wr ) 使得它在 
: r = A ] 的值比在其他特征偵上的值大得多.一种方式是 选取： 


心)= y(— 1+2、^^)， 

其中阶 Chebyshev 多项式，它由下列推速公式产 
生： 


c k ( z ) = 2 zc k -^{ z ) - c k - 2iz ) y c ^ - 1 ,ci ^ 5；. 

这些多项式在区间 [- M ] 上的上界为1,但在区间外增长很快 - 
用这种方法定义的 pU ) 有 性质： 

I ^(^i) I ^ t , i - 2：n f 


1 - d\ 


但 〆 2 Pl ) ■故有 

01>Al * (Al_Aj d L ' Ck l (l + 2p l ) 2 ^ 
注意到 t a n 2 ( A ) = ( l - W )4^， 上式即为所希望的下界. 
从此定理，立即可得关于九的-个类似的结果. 
推论 9.1.4 采用上述定理的记号，有下列结果： 

其中 p„ = (A n -i - Aj/(A t - A„-i),cos(^J = qlz n . 

证明在定理 9.1.3 中，用 -A 替换 A ， 即得 . 


n 


□ 


9.1.5 幂法和 Lanczos 方法的比较 

值得将 Gi 与幂法的估计 值2 1 进行比较。（见8.2,,1节）为 
简单起见，假定 AiS … > A „>0 .对用々_ 1步幂法迭代后，得 
到下列方向上的一个向量： 
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V = A k 、， 

且有-个特征值估计： 

_ Ay 
r ' v T v 

利用定理 9.1.3 的证明和记号，易得+ 等式： 

- (Aj - A TI )tan 2 (^ 1 ) » j - 

(提示 ：在证 明中令 p (: r) = / 0 .因此 T 我们可以比较 6 和 h 的 
下界： 

L k ^ l /[ c kl (^-\)] 


与 


+2 内 ）] : 

K ,_, 


士广 1 

、入 1 / 

下表给出了两个下界对不同 A 与；1 2 4 1 的 比较： 


表 9.1.1 - ] /R ^ _ j 


义 |/ 入 2 

k^5 

k~W 

k = \5 

k=20 

k = 25 

1,50 

1.1X10 -4 

2.0X10 ~ |[； 

3.9xi0- 16 

7,14 x I0 -22 

1-4X10 27 

2.9X10 ^ 

^.SxiO- 4 

1.2xio ^ 

2.(]x iO -7 

3.5JM0 ^ 

1.10 

2*7X10 2 

5.5X 10 - '" 

K 1 x io_ 7 

2.1 x i0 _, ° 

4,2xi0 13 

4,7X10 1 

1.8X10- 1 

6-9xio 2 

2i7xl0 _2 

LOx IQ 2 

1.01 

5.6^10-' 

1.0X10 1 

1,5M0_ 2 

2.0X 10 3 

2.8 >； 10" J 

9-2X in -1 

8.4X10 -1 

7.exi0 _1 

6.9X10-' 

e.2^10' 1 


Lanczos 估计的优越性是不言而喻.这并不奇怪，因 为仏是 
rU ) = j T > l : r / x T ： r 对 KU , gi ， J &) 中所有元素取最大值而得到 
的估计，而 n = r ( xO 只是对应空间 K ( A, gi J ) 中- * 特定的值, 
即 v = A k ~ l qi . 
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9.1.6 中间特征值的收敛性 

我们用乃中间特征值的误差界的一些评述结束本节.定理 
9.1.3证明的核心思想是利用变换了的0^1^呔作多项式.通过 
它，我们放大了 W 在 q 方向上的分量.一个类似的想法可用来获 
得中间 Ritz 值$的误差界.然而，这些误差界并不令人满意，因为 

“放大多项多”具有彤式 - A ,)， 其中 <?( x ) 是（在区间 

[A, + i，A ; ] 上的） A _ 1阶 Chebyshev 多项式.详细的讨论见 Kaniel 
(1966)，Paige(1971) 和 Saad(1980). 

习 m 

9.1.1 设为反对称阵，试推导一个计算反对称三对角阵 r m 
的 Lanczos 型算法，使得 AQ m = Q „ T m ，其中 QlQ m = I m . 

9 . 1 . 2 设为对称阵，定义函数= = 

一子空间.且 Vx€S ， 有证明 S 是 A 的不变子空间. 

9.1.3 证 明：若 对称阵一多重特征值.则方法的迭 
代提前结束. 

9.1.4 定理 9.1.1 中的指标 m 是包含向量 h 的 A 的最小不变子空 
间. 

9.1.5 已知对称，考虑如下 问題： 确定正交序列…， 
办，…使得一旦 Qjvi ， ‘，办]是已知的，<?川 会使叫 =II ( J ~ G'i + iQjf + i ) 
AQ k || F 达到最小.并证明：若甲 an Ui ， … ，办丨 = A , h ，々 ） ，则可能选取 
办 +1 使得叫= 0.解释这一优化问题如何可导出方法. 

9.1.6 设"对称，我们希望计算出它的最大特征值 .令？ 为一 
近似特征向量 ， ct = ij Y ： ATf / Tfj T Tf t z = Ai }~ aij . ( a ) 试证：区间 [cr — $，ci + 攻]必含 
有 A 的一个特征值，其中5= II ^ II 2 /|1 7 II 2. ( b ) 考虑新的逼近7 = ^ + 
如何确定实数 a 、6 使得《= v T ^ V / V r V 最大 .（ c ) 阐述上述计算与 
Lanczos 算法前二步的关系. 


本节注释与参考文献 


Lanczos 方法的经典参考文献 : 如下 : 
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C.Lanc^os( 1950)」** An [Uxjlion Mtfthod for the Solution of the Eigenvalue Problem of 
Linear Differential and Integral OperatorW 「 Res, Nat r Bur ， Stand. 45,255 一 282. 

尽 1? 上文暗示了 Kk 值的收敛性，为更详细的了解，我们 推荐： 

S. KanieL ( 1966 ) , ** Eslimatea for Some Computational "J echniqiiRs in Linear Algrbrfl , P， 
Math, Comp. 20 ,369 — 378, 

C. C. Paige (1971) T “The Compittation of Eigenvalues and Eigenvectors of Very 
Sparse Mai rices/^Ph.D. thesia, London University, 

Y. Saad (1980}, “On the Rates of Conveigence of the Lancsro and the Block I^ancras 
Methods ， ” SMAf / 「 Num . Ana/ • i7 ， 687 — 706. 

有关 Lancms 算法，止交多项 式和矩 理论之间联系的吋论 可见： 

N. J. Lehmann ( I %3 ) ■ '' Optimal^ Eigenwerteinscftliessungm > ，? Numer. Math r 5* 24fi 一 
272. 

A S, Householder (1968), tb Moments and characteristic Roots 1 [, ，T Nutner. Malh . 11 t 
126—128- 

G. H.tidub(l974). “Some Uses of the I-ancros Algorithm in Numerical Linear Algebra,” 
i 为 Topics in Numerical ATmlysi^^cd. J J, H, Miller T Aca<ienuc Preai P New Ycrk. 

我们是通过讨论 Householder 或 Givens 变換三对角化必然令非零元填允来诱导对 
Um 方法的研究.事实如果小心处理有时可将填充限制到可接受的水准 t 
I S 」 [Xjff(l974) - H Pivoi Selection and Row Ordering Ln Givms Reduction on Sparge Matri- 
oes T ^ComfmtiTig 13 ,239 ― 248, 

I S Duff and J. K, Reicl(1976) 「 “A Comparison of Some Methods for the Solution of Sparse 
Over-Delennitied Systems of Linear Equations^ r Inst , Maths, Applu' 17 7 267 — 2S0. 
L. K&ufmfln( 1979). ^Application cjf Dense Householder TransformatiorLS to a Sparse Ma¬ 
trix, "ACM Tmns. Math Soff-5, 442—450, 

§9.2 实用 Lanczos 方法 


舍人误差严重影响 Lan _ 方法的表现.其根本的困难在于 
Lanczos 向量之间会失去正交性.这个现象会搅乱算法的终止问 
题，并耳使得矩阵4和二对角阵 A 特征值之间的关系复杂化.这 
一点以及具有完美稳定性 Househc ^ lder 三对角化方法的出现，说明 
了为什么 Lanczos 方法在50年代与60年代被数值分析专家所忽 
视.然而，随着 Kaniel ^ Paige 理论的发展，人们对此方法的夾趣又 
恢复了，因为伴随计算机运算能力的不断提高，解决大型稀疏矩阵 
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的特征值问题迫在眉捷.通常只用比 《 少得多的迭代次数就能得 
到很好的两端特征值的近似值，这使方法作为稀疏矩阵 
技巧极富吸引力，而不是作为 Householder 方法的“竞 争者' 

要成功地实现 Lmiczos 迭代，涉及到的算法远不止迭代公式 
(9.1.3) 那样简单.在本节中，我们概括地介绍几种被建议用来使 
Lanczos 方法实际可行的实用思想. 

9.2.1 精确的运算实现 

仔细重写 (9.1.3) 且利用 公式： 

<^k "= qliMk 一 A-i 似 -1 )， 

则整个 Uliczos 算法可用2个; I维向 | 量的存储量来完成. 

算法 9.2.1 (Unczos 算法）给定一 n 阶对称阵 A 和范教单 
位向量 w ， 本算法计算出一个阶对称三对角陣八，且 
MTjCAtA)， 这里假定已有计算矩阵与向量乘积 A.w 的函數 
A . multC ttf). Tjt 的对角元和次对角元分别存储在 cr(l: 是）与 
芦 (1:H) 

T ； (l:n) = 0 ； j?o = l;fe=0 
while 爲 #0 

if k 尹0, 

for i-l：n 

t~ UUi\ IVi = R / 爲； Vi = - gkt 

end 

end 

tj = u + A. mult( -w ) 

k = k + \ \ a k = xv T v ;v — v — a k xjLf ;jS^= || v \\ 2 

end 

注意， 4 在整个过程中没有改变.只需要提供一个计算矩阵 
A 与向量乘积的程序 A . .如果矩阵 A 平均每行有；个非 
零元，则在每一 Lanczos 步中，约有 (2/ +8)/ i 个 flop. 

上述算法结束后，乃的特征值可用对称三对角 QR 方法，或 


- ssr * 




§8.5 中任何特殊的方法(如二分法)来计算. 

I ^ anczos 向量通过 H 维向量 w 来产生.如果这些向量以后要 
用到，必须特别安排它们的存储，在典型的稀疏矩阵的情况，它们 
可存储在磁盘或其他的辅助存储设备,直到不需要为止. 


9,2.2 误差分析 

要发展一个实际的且易于使用的 Lanczos 程序，需要利用 
Paigc ( 1971,1976 ,1980) 基石性的误差分析.对他所得的结果进行 
观察，是启发本节的几个修正 Lanczos 算法的最好途径. 

算法进行 j 步后，我们得到由计算出的 Lan _ 向量组成的 
矩阵 = …，^]及相应的三对 角阵： 



~ 

A 

% = 

h 




&k-i 



呑 k-l 


Paige (1971，1976) 证明了，如 果匕是 q 的计算值，则 

- Q k f k + r.eJ+E,, (0.2.1) 

其中 

\\ E k \\ 2 ^u ^ || A || 2 - (9.2.2) 

这说明在机器精度的意义下，重要的方程= Q k T k + 
能得到满足. 

不幸的是，匕之间的正交性远不如上面的结果那样美好.（规 
范性不成问题，因为 Unczos 向量的计算值本质上具有单位长 

度）.若总 =_/?( || 匕 II 2 )，计算‘则简单的分析可 

证明 &心十 1 + M ， 其中 || 叫 II * II r k || * II A ff 2 - 

因此，我们 可得： 


, 558 . 



I ql+i^i I ^ 


I 1 -> u\] A\\ 2 

^ ^Jh\ ^^ 


=i ： ^. 


换句话说 ，当爲 很小时，可能会出现与正交性很大的偏离，既使在 
rlQ k =0 这一理想情况下也是 如此么 很小意味着 6 的计算将有 
“ 相消 ’ ， . 我们要强调的是，正交性的丢失是由尸这种 “ 相消”误差所 


引起的，而不是舍人误差积累的结果 ■ 


例 9.2.1 矩阵 

— 「 2.64 -0.481 

-0.48 2.36] 

的特征值为 Ai =3 t A 2 = 2. 如果对 A 用 Lanczm 算法，取初始向量 
为 q = [0. 810,- 0, 5 86 ] T ， 用三位浮点数运算 * 则得 h = 
|_.707,0.707 ] t . 正交性失去了，因为 spankd 几乎就是 A 的不变 
子空间 . （ 向量 ： c=[0.8, -0.6] T 是对应于的特粗向量 ）‘ 

稍后我们将给出 Paige 分析的更多 细节. 现在只需说在实际 

中总是失去正交性，从而明显破坏 t 的特征值的准确性.这可通 


过 (9.2.1) 和定理 8.1.16 来量化 ■ 特别地，在定理中取 ^1 = 


+ ，并且假定： 

r = II Q}Qk —厶 II2 
满足 t<1 . 则存在，叫 G A(A ) ，使得 

| - Ai(T^) | 

^4l{ II r k || 2 + J^ll2 + r(2 十 r) II A S| 2 ), i - 1:^- 
控制因子 r 的 - 个明显的办法是把新计算的 Lanczos 向童与 
以前所计算的 Lanczos 向量正交化 . 这导致了第 _ 1 个“实用的 
Lanczos 葬法 . 
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9.2,3 完全再正交化的 Lanczos 方法 

给定 q ， n ，…， rn 6 IT ,并假定已计算出 Householder 阵 
…，使得 （ ff 0 …〜…， n ] 为 t 三角阵■用 
[ <? 1，…，办]表承 Householder 阵乘积 HoHi … H 卜 i 的前先列.现 
假定给出向量我们希望在下述方向上得到一单位向量 

沿 卜1 : 

k 

-w = n - SUTnOg, G span! L . 

卜 1 

如果选取 Householder 阵使得 （ HoHf 拓） 7 !〜，;^，…， r t ] 为 
上三角阵，则…玛的第是+ 1列向量就是我们所需要的. 

如果把这些 Householder 变换和 Iaticzos 算法结合起兼，就可 
得到相对于机器精度正交的 Lanczos 向童. 
ro = 9l (给定的单位向量） 

确定 Householder ^ H 0 ：Horo — ej 
«i = 9 T ^7 l 

for k ^ lin -1 (9.2.3) 

n~(^~ aj)<u 一 Pmk-iiPoqo^y) 

评 =(1 … H 0 )" 

确定 Householder 阵杜： 

还识= 0^，“，，1^, 爲儿 …， o) T 

h 十 1 二 gl+i ^qt + i 


这是一个完全再正交化 Lanczos 算法的例子.更加深人的分析见 
Paige(1970) .用 Householder 阵来加强正交性思想见 GoLub,Uti- 
derwood 和 Wilkinson ( 1972 ). 

由 （9.2.3) 计算出的匕在机器精度内是正交的，这一点可从 
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Householder 阵的误差性质中看出.注意到，由办 + i 的定义，爲= 0 
是没有影响的.由子这一原因，算法可安全地运行到々二” — 1 步 
(然而，在实际中可在…个小得多的々值就结束算法）. 

当然，无论 (9.2.3) 如何实现，只存储 Householder 向量叫，而 
不会显式地形成相应的 A . 既然执（14,1:0 = “，我们没有必 
要去计算的前 i 个分量，因为精确的 
运算会使这些分量为零. ： ' 

不幸的是，在完全再正交化的计箅中，这些措施的意义并不 
大.因为在 Lanczos 算法的第 A 步，计算 Householder 阵会增加 
O ( Jbi ) 个 flop . 此外，为了计算办+ 1 ，相应于 Ho , Hi ,*' 执的 
Householder 向量也要用到.当《和々很大时，这通常意味着无法 
接受的数据传输量. 

因此，完全再正交化要付出很高的代价*所幸的是，有更加有 
效的算法可取，但这要求我们更加深人了解正交性是怎样失去的- 


9.2.4 有选择的正交化 


Paige (1971) 误差分析的一个惊人的且使人啼笑皆非的结论 
是：正 交性的丢失与 Ritz 对的收敛性是密不可分的■确切地说，假 

定对夂 SQR 算法，得到 Ritz 值的计算解心和一个由特 
征向量组成的几乎正交的矩阵良 = 若歹 i = [9 l ， …， 9 t ] = 


义），则可证明， 


和 


n • II A || 2 

i ^ i * 


i = 1; 裊， 


(9.2.4) 


II - ^i9i II 2 〜 i I • I 〜 I - (9‘2.5) 

也就是说，最新计算出的 Lanczos 向量^ + 1 倾向于在任何已收敛 
的 Ritz 向量的方向上含有不需要的非零成分.因此，我们不去将 
心 + 1 与以前所有计算出的 Lanczos 向量正交化，而是通过让它与 
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一个小得多的由收敛的 Ritz 向量组成的集合正交，以达到同样的 
效果. 

Parlett m Scott{l979) 讨论了用这种途径来加强正交性的实 
现问题.在他们的称之为“有选择的正交化”技巧中，一个计算的 
Ritz 对，/被称为是“好的”，如果它 满足： 

"/w * II a !1 2 - 

-旦^+ i 已被算出，把它对每个“好的” Ritz 向量正交化.这比完全 
重新 正交化效率高得多，因为通常好的 Ritz 向量比 Lances 向量 
少很多. 

一种实现选择正交化的途牦是在每一步对角化并根据 
(9.2.4) 与 （H5) 来观察一种更有效的方式是用以下结果来 
估计正交性丢失的度量II I k QlQ k II 2 ： 

引理 9.2.1 假定 二如果夕满 
足 li /, - S T S I 则 II l k + v - S \ S + II 2 < 

" +, 其中 

= 士(" + 《 + V -占 ) 2 + 4 11 S T 2 || ■) ‘ 

证明 参见 Kahan 和 Parlett(1974) 或 Parletl 和 Scott(1979). 

□ 

因此，当我们已知 li i k - oic k ii 2 的界时，就可以对 
心 +1 用以上引理得出II II 2 的界 .（ 在这种情形， 

，且假定心 +i 已对当前好的 Ritz 向量集正交化了），不需要利 
用^，…，^，而只通过一简单迭代就可估汁出办 u 的范数，见 
Kahan 和 Parlett( 1974) 或 Parlett 和 Scott( L979) ， 额外的开销是很 
小的，而且当估计界显示□失去正交 性时； 就要考虑扩大好的 Ritz 

向量的集合.之后，并且只有在这以后，将 L 对角化. 


9.2.5 幽幻特征值问题 

在设法构造一个不涉及任何强迫正交的町行 Unczos 算法方 
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面，已付出了巨大的努力.这方面研究集中在 “幽灵”或 “虚假"特征 

值问题.这 是指氕 的多重特征值，它们对应于 A 的单重特征值. 
当与收敛的 Rh 向量的正交性失去后，迭代实际上重新开始，所 
以会出现这些多重特征值.（打个比喻，在 8.2.8 节的正交迭代中， 
如果忘记了正交化，想像一下会发生什么情况）. 

Collum 和 Wilbugh ( 1979 ) 以及 Parlett 和 Reid (1981) 讨论了 
鉴别和对付这些多重特征值.在需要4的全部特征值的应用问题 
中，这是十分紧迫的，因为上述正交化过程代价高得无法实现. 
既使 A 有一个真正的多重特征值， Lanczos 迭代出现困难也 

是意料之中.这是由于為是不可约的，面不可约的三对角阵不可 
能有多重特征值.我们下一个实用的 Lanczos 算法就是要绕过这 
一困难. 


9.2,6 分块 Lanczos 方法 


就像简单的幂法有同时迭代的块形式一样，^^+算法也有 
块形式.假定《 =广^，考虑以下 分解： 

r ^ bj I 


q t aq - t- 




m 2 


， (9.2.6) 

« T-i 


B rl Mr] 


其中 Q = [ x lt X r ] t X, 互相正交，姊 e 

eRP V 为上三角阵.比较方程 AQ^Q f 两边的每一块可得 


XqB 0 — 0, k = \ - r — 

从 0 的正交性，我们有 

M k = XjAX kt k ^ 1 ： r. 

此外 t 若令则 X t + l B k ^ 
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札是 的 QR 分解.这些关系式建议我们用如下方法产生 

(9.2.6) 中的块三对 角阵： 

给定 

M^xjAXx 


for k — \ir — \ 


(9.2.7) 


分解） 

M ft+1 = Xj +1 AX fe + 1 


( X 0 Bo =0) 


在第 A 次循环的开始，我 们有： 

A[X lf X 2 .--^X k ] ^lX l) X 2 r- i X k ]T t 

十 K *[0, …， 0,0]. (9.2.8) 

其中 

M t Bj … O " 

〒一屯 m 2 ■、 i 

Tk ^ i ■* ^-i 

Lo … s k l jw t 」 

利用与定理 9.11 的证明类似的方式，我们可以证明只要所有的 
R k 都不是亏秩的，则 M 是相互正交的.然而，如果对某个是有 
mnU & X/N 则可选择 毛 + 1 的列，使得…11,见 
Golub 和 UnderwDod ( 1977 ). 

因为瓦的带宽为^，用 Schwam (1968) 的算法可有效地把它 
化成三对角阵 .一 旦有了三对角形式，用对称 QR 算法即可得到 
Ritz 值， 

为了明智地决定何时用块 Lanczos 方法，有必要知道块的维 
数怎样影响 Rite 值的收敛.定理 9.1.3 的如下推广阐明了这一问 


定埋 9.2. 2 设； I 介对称阵 A 的特征值为 
相应的特征向量为 q ， z 2 , … ，％ . 假定阵 I 为块 Lanczos 迭代 

(9.2.7) 进行左 步后得到的块三对角阵.它的多个最大的特征值 
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为户 1 ， …， 若令 = [之 1 ， …， q] ， 且 cos (心 ) = < yp ( z } x ^) >0. 

i = hp . 


r ' 心 _ 又™ 


Ci - 〆 ^:) 为炎 一1 阶 Chebyshev 多 项式， 

证明见 Underwood (1975) □ 

把上述定理中的 A 换成 - 最小的特征值可得到类 
似的结果. 

根据定理 9.2. 2和块 Lanczos 迭代公式，我们可总结出下面 
几条 性质： 

•随着/>的增加， Rhz 值的误差界得到改善. 

•计算I的特征值的工作量与〆成正比. 

.块的维数应至少与任一需要计算的特征值之重数一样大. 
Soott ( 1979) 详细讨论了在这些因素下如何决定块的维数. 
正交性的丢失同样困扰块 Lanczos 算法.然而，前面介绍的强 
迫正交的所有技巧都可推广到分块的情形 - 


其中 




U - A;)tan 2 ⑷ 


Ck — 


辟 ) r 


9.2.7 S 步 Lanczos 方法 


可以按迭代的方式应用块1^0208箅法（9.2.7)来计算4的 
选定特征值.为了阐明思想，假定我们要计箅/>个最大的特征值- 
如果给定阵 XiGR " 〃是列 正交的，我们可用下面的方式计算 * 
untill || AX Y - xCfs II f 足够小 

通过块 Lanczos 算法，产生，…， A G1R" ^ p ;形成 J/> X 
sp f p 对角的阵 

T s = [:…，，…， Xj; 

计算正交阵 u = Ui ，…，％]使得： 

1/^11= dLagd *-， U ，^» V 
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令 = …，足]…， 

end. 

这就是分挟:的■步 Lanczos 算法. CulUim 和 Donalh ( 1974) 和 
Underwood (】975)对它进行了广泛的分析. 

同样的思想.也可以用来计算 A 的几个最小的 特涵值 或最大 
最小特征值的混合情形，见 CullmnU 978) .参数 S 和 ，的 选取依 
赖丁存储以及前面列出的讨论块维数的几个因素，随着好的 Kk 
向量的出现，玦的维数户可能减小.然而这要求强迫与已收敛向 
量的正交 ，见 Cullum 和 l ^ nath (!974) . 

习 题 


9.2.1 证明引理 9.2.1. 

9.2.2 在 （9.2,7) 中，若 rsiik(l^)< P， 像空间 「<mge([U 2 , …， 
X u ]) 含有 A 的特征向1：吗？ 
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15,228—272. 


§9.3 应用于 如= 6 和最小二乘 


在本节，我们将简要地介绍如何把 Lanczos 算法用来解大型 
稀疏线性方程组与最小二乘问题.更详细的内容，见 Saimder ^ 
(1995). 


9.3.1 对称正定方程组 

假设矩阵 AGR " Xrt S 称正定，考虑 函数： 

^(j：) — -^-jc t At — x^b , 

其中 b^:W. 因为▽必 ( x ) = Ar - b ，故 :c = A 1 b 是 ♦ 的惟一极小 
点.所以，彡的一个近似极小点可看成是 Ax = 6的近似解. 
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给定初值 qGR"， 一种产生收敛于: c 的向量序列 Uj 的方 
法是对 k = Un ，构造一列正交向量1 & I， 且巧为 4在集合 

A + spanii ， … ， = U0 + 十 …+ 〜I 

中的极小点.如果仏； [g 1T …，办] t 则这就意味着寻找向量： v€ 
硭使得 


乡 (: c 0 十 Q/y) - 2 C ^0 + QkyV^i^o + Qky) - (^o + Qky) T ^ 


= 知 1 UhQ 山 - y T Qj(b - At 。）+ *(x 0 ) 

达到极小.观察该表达式对 y 的梯度，可知 

jc k = jo 0 + Qkyk * (9.3.1) 


其中&满足： 

( QlAQk)yk = Qj ( b - Ax 0 ). (9.3.2) 

当 A = n 时，# 在整个空间 M n 上达到极小，故 A^ n = b , 

当 A 为大型稀疏矩阵时，为了使求解过程有效，需克服两大 
困难： 

•线性方程组 (9.3.2) 必须容易 求解： 

.我们必须能够在 计算％ 时不需要像 (HI) 那样显示用到 
h ，…，办.否则的话，将会产生过量的教据流动 * 

我们将证明，当&为 Laiiczos 向量时，这两大困难都将被克 

服. 

Lanczos 算法进行 A 步后，我们得到 分解： 

AQ k = Q k T k + (9.3,3) 


其中 




"«i /?t 

QUQk ^ 



(9.3.4) 


Lo …典 -1 a k 」 

通过这种途径 ，（9.3.2) 变成了一对称正定的三对角系统，它可以 
用 U)L T 分解来迅速求解(见算法 4.3.6) .特别地，令 
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"1 0 … 0 — 

[d l 0 … （T 

fi x 1 ... 0 

,、 ； 0 d i 

+ » 

» lh = . . ,、 

:’ ■、： 

I : 0 

_0 “■ 内 -1 1 」 

| Lo … o 4 


u 


比较方程 

T k - L k D k Lj < 9 . 3 . 5 ) 

两边的元素，可为下述 算法： 
di = a x 
for i-2'-k 

户 ！ - i 二 A 1 々 A -1 * 

- _ 

end 

注意，为了从和认 ^ 得到 “ 和从，我们只需计算数值 

P-k 1 = U<h -、， . 、 

/ p (9 ‘ 3 - 6 ) 

正如我们前面所提到的，有效地计算 （ 9 . 3 . 1 ) 中的 & 是非常 
关键的 . 为此，定义矩阵〃和向量九 € # 如下： 

CJ：l - Q k , 

LiJhf> k : Ql(b - Ajc 0 ), 

我们发现，若 41 - /%，则 

r k = ^'0 + QkTk l Qjr 0 

; ^o+ Q k (^iP^lr { Qlr {) 

二 j ： 0 + C^. 

对 C t 作列分划 4 ]. 从 ( 9 . 3 . 7 ) 可得 

U'1，"K1 + + c k ] = ，…， ％], 

因此， C^ = [Ch,l 其中 

q 二 qr "k-m 

同样可观察到，若在方程组 J^sf^kPk = QJ r 0 中令 Pk= (.P'，P2'“* ， 


( 9 . 3 . 7 ) 


- 570 * 





&) T ， 则方程组变为 





"" 

i 

r T ~l 
^1 ^0 

U 

1^-1 

0 

i 

Pi 


^*0 

0…0 


d k ! 


pt-i 


ql-ira 




- Pk - 


- qJ^a - 


既然 ] pk-i = d - iro , 可见 

W 1， 

L Pk J 

其中办内 - i )々4* 因此 

= + c kpk = x w + L p k -i + 

=i'i-T + ptCk- 

这正好是我们所需要的关于 A 的迭代公式.结合 （9.3.6) 和 
(9.3.7), 我们就可用最小的工作量和存储量完成从 （办 
Ay ) 到（办 ,巧） 的迭代. 

如果我们取 1 为初始残余向量 r 0 = 6- Ax 0 的单位化向量， 
则可得到更简明的结果.当初始 Uriczos 向量这样选取时.，有 qlr Q 
= 04>2成立.从(9.3.3)可知 

b - Ax k - & - A ( j ； 0 + Qky k ) 

=〜_ (Qk^k + ^J)y k 
= r 0 ~ QtQjro - r^bk 
—- r ^ Jy k . 

因此，如果在 Lanczos 算法的某步中，有典= II ^ || 2 = 0 成立，则 
= 6 .此外， || Ax k ~b || 2 = ^ kIy 々 L 故在迭代的同时，可得到 
当前残量的估计.综上所述，我们有如下算法- 
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算法 9.3.1 矩阵对称正定， 

' R n 为初始向量 （ Ax 。 义 6) ，则本算法计算出 A . n - b 的解. 
r 9 - b - Ax 0 
A >= II h |j 2 

公 o = 0 

k = 0 

while ^7^0 

^ + i = 

k = k^l 
<^k = <ilMk 

爲 = U 2 

if 走 =1 

= 

A = A),a 

x i = Pi^i 

else 


Pk -1 = Pk -1 ^k-i 
^-k _ — 1 P-k — 1 

c k = qr n c k-i 

Pk - H x^k-xpk-i^k 

: = Xjt _ ! + pff k 

end 


x = x k 

本算法每步需一个矩阵向量乘法和几个 saxpy 运算.它的数 
值表现将在下一章讨论，那里它重新被推导且验明为众所周知的 
共轭梯度法. 
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9.3.2 对称非定方程组 


上节中的算法一个关键点是求三对角阵I的 LDL T 分解.不 
幸的是，当 A ，因而八，非正定时，这个分解是+稳定的 .Paige 和 
Saundcrs(1975) 建议用I的 LQ 分解来构造&的迭代公式.确 
切地说，在第6步，我们用 Givens 阵1，…, Am 使得 

~di 0 0 . 0 

<?j d 2 0 . 0 

m_i : u ， 二 a q ■* … 0 

_6 o *" fk 2 ^ 

注意，利用这一分解， Xf 可表示，为 

5 = % + Qm = QkT k l Qjb = w 心， 

其中 W = Ji …上硭为方程组 C? 菸的 
解.观察这些方程，从:^^和的最后一列7£^的一个容易计算 
的倍数可得出计算&的公式.这就是 Paige 和 Saimder^(1975) 提 
出的 SYMMLQ 方法. 

另外一种途径是从 (9.3.3) 和定义 A* u 4有 

^Qk = Qk^k + - Qk+'H k ， 

其中 



这个（々 + 1 ) X 々是上 Hessenberg 阵，在 Raige 和 Saunden: (1975) 
提出 MINRES 方法中起重要作用.在该技巧中，&在超平面:^ + 
span 彳 1 ， …，％ 〖上极小化II A T ~ b || 2 .注意 

II A ( x (] + Qky ) - ^ II 2 = II ^Qky ~ (b - Ax 0 ) || 2 

=11 仏十也- ( b - Ar 0 )\\ 2 

= II || 2f 
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这里假定了 q L = (b - 为单位向量.与 SYMMLQ 方法一 

样，能导出一些递推公式从而有效地从& _ i 计算& .这涉 及到氏 
的 QR 分解. 

共轭梯度法的表现将在下一章详细地讨论. SYMMLQ 和 
MINRES 方法的收敛性更为复杂，其讨论见 Paig e ，Padett 和 Van 
der Vorst(l995) t 


9.3.3 双对角化和 SYD 


假定 U t AV = B 为矩阵的双对角分解，其中 

[/亡 [ w ， r / 2 , …， 《 m ]， t / T (7 - I , w , 

V = [〜， wJ ， V T V - 


B = 


0 


0 


Pi … o 

02 ^2 : 

/?«-! 

… 0 


(9*3.8) 


回忆 5.4.3 节中的内容，此分解町用 Hou^holder 变换完成，它是 
SVD 箅法的前端. 


所不幸的是，当 A 为大塑稀疏矩阵时，在 Hoiisehokler 双对角 
化过程中，会出现大型稠密子矩阵，因此，如果能发展一种不必对 
A 做任何正交变换的直接计算 B 的方法，将是非常完美的事情. 

和9.1.2节中的做法一样，对是=丨^，比较矩阵方程>4¥ = 
I® 与 A T l/= VB t 的两边，可得 


Av k = a k u k + 珣 woeO ， 

U k ~ a k V k + 典％ +1 ， Al^n + 1 = l h 9-3.9) 

令 q = 爲 — Huh 二由单位正交性我们可 
得到4 =± il r k \\ 2 * v k = r k / a k ， 爲=土 II 九 ii 2和 v k ^\ = 
九/爲.恰当地安排它们的顺序，可得到双对角化长方形矩阵的 
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Lanczos 方法 ■ 

给定单位向量 （II . || 2 范数 ） A ; 
/) 0 =%;卢 0 = 1;是 = 0; w 0 = 0 
while ^7^0 

v k + \~ Pk’？k 

k = k + \ 
r k = Av k _ 

«t = II r k || 2 

Uk = r k / a k 

Pk 二 A T W 是一 a k v k 

~ II Pk II 2 


end 

如果 r ank ( A )= n , 则我们可以保证在 4 中不会有零出现. 
实际上，若 W =0,则 span ! (Cspanl w 】 ，…， w . t 丨，这 

说明 A 亏秩. 

若爲= 0,则不难 证明： 

A\_V l ,V 1 ,"' ^v k ] = [ Wi , «2,…’ W] 馬， 

A T [ « 卜 《 2 , …， ] = [tjj , V 2 r",V k ]Bj, 

其中 B k = B ( l ： kA ： k ) t B 为 （9-3.8) 中所描述的矩阵.因此，向量 
«和 p 为奇异向量，且 WJ^C^A^Paige (1974) 讨论了 Lane- 
zos 双对角化-也可见 Cullum 和 Willoughby (1985a, 19851b). 在本 
质上，它等价于把 Lanczos 三 对角化技巧作用于对称矩阵 



我们在 §8.6 开始时就证明了 A;(C) = aU )= -A„ + m _, + 1 (C)， 
i = l:« .由于这一点，双对角化矩阵的大奇异值是4的大奇异值 
很好近似也就不足为奇了 .C 的中间特征值对应于 A 的小特征 
值，但这没有很好的近似.与论相应的关于 Lanczos 
双对角化的定理，见 Luk(1978) 和 Colub，Luk 与 Overton(1981). 
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前两节中的分析、算法和数值方面的讨论都可自然地平移到双対 
角化， 

9.3.4 最小二乘问题 

满秩的最小」乘问题 min \\ Ax~h II 2 可以通过双对角化来 
求解.特别地， 


x ls = V ls = 2奶， 

E - 1 

其中 y=bi， …，: y„] T 为方稈 By =[ ulbr -, u 1 JbY 的解.注意， 
因为 B 是上双对角阵，只有当 B 的双对角化完成之后才能求解 
，此外，还要求存储向量力，…，％，当 n 很大时，这是令人不快的 
情形. 

如果将4化成下双对角形式： 

0 0 _ 

戸 I a 2 : 

U t AV = B = * ， 

0… 尨 

0 _ 

基 r 双对角化的稀疏最小二乘算法之构造就能很方便地完成。这 
里…，％]和 i/ = […， …，、]是止:交阵.比较方 
程 A T t/ = AB T 与 AV = UB 的两边 T 可得 

A ^ u k =: + a k v k ， 汍叫 = 0 ， 

Av k = ^k u k 1 A«“i- 

从这些方程可直接 给出个 1^_算法，它与（9.3.10)很相似， 
只是…为初始向量. 

令 K =[〜，…，〜]， (7* = [ w lr tt 2 ，…， 《(] ，馬= B(U + 1’ 
则.我们的目标是计算巧，便得 || 如 _々 jj 2 
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在所有形为 x = + 的向量集上达到极小.这里 3； e ] ㉝ 和& 

6 JR" 为初始向量.若令 u { =(b - Ar 0 )/ |] b - Ar 0 II 2 , 则有 

A ( 工 0 + V^) - b= hBa _ J^U i+1 et 

= - be'h 

其中4 + 1(:,1).由此可知，若外为 U + 1) X 6 下双对角二乘 
问题 


min II B i+l y - ^ i e l || 2 

的解，则 & 二 q + 既然私为下双对角阵，容易计算 Given 
旋转阵…，夂,使得 


™[: 1 ; 

力上双对角阵.若 A …则可得^ 

L W 」 t 

= W ^£ k ，其中 ％ = f 1 - Paige 与 Saunders ( 1982 a ) 指出如何用 
一个简单的迭 代从' ^得到&，它涉及到％的最后一列.这样 
得到一个称之为 LSQR 的稀疏最小二乘算法，这仅需要少数几个 
n 维向量的存储空间. 


习 题 


9,3.1 修改算法 9.3.1, 使得它能够对 9.3.2 节中的对称非定问题进 
行计算. 

9.3.2 为了有效地进行 (9.3. 10)，需多少存储空间？ 

9.3.3 假定 A 是秩亏的，且 (9.3.10) 中％ = 0.怎样确定％,使得迭代 
能进行下去？ 

9.3.4 设计出 <9.3.10) 的下双对角形式，并详细给出 9.3.4 节中所概 
括的最小二乘算法. 


本节注释与参考文献 

本节中很多材科取自下列文章： 

C . C . Paige ( l 974). ^Bidiaganalizatiori of Matrices and Solution of Linear Equations t ， St 4 M 


- 577 , 



J r jVwm . Aruil. 11 ,197 — 209. 

CX. Paige and M. A. Saunticrs< 1975) ■Solution of Sparse Indefinite Systems of Linear E- 
quatiotia ,SIAM J . Num . AmL J2,617—629. 

C.C, Paige and M. A. Saunders (1982a ) 「 “LSQR: An Algarithm for Sparse Linear Equa¬ 
tions and Sparse I^Ht Squares/'ACiVf Trans ■ Math. Soft, 8 7 43 —71 」 

C.C. Paige and M. A. Saunders(1982b). u Algorithm 583 LSQR ： Sparse Lintar Equations 
and Least Squares PnoblmiSj 7 ACM Trans. Math ‘ Soft. 8 ,195 一 "209 」 

M. A. Sandets(l995) - ^Solution of Sparse Rectangular P 'B/T 35 ,588—604. 

也讨参见 Cullum 和 Willoughby (1985a ， 1985b ) 及 



215. 

Y. Saad{ 1987). w On the l^ncros Method for Solving Symmetric Systems with Several Right 
Hand Sides * ，7 \fath . (.bmp , 4S ,651 — 662, 

M. Berry and G, H, Golub( L^91), ''Estimaling the largest SiriguW Values of l^ige Spar^se 
Matrices via Modified Moments ^ r， Nut^jerical Algorithms 1 T 353 — 374. 

C.C. Paige,B- N, Parlett, Hnd H. A . Van Der Vorsl(1995). ++ Appn^xim^te Solutions and 
Eigenvalue Bounds from Krylov Subspaces T PT NuT/ier , LtTieAr Aigebru 切 ith Applic. 2 ^ 
J15—134 - 

§9.4 Amoldi 方法与非对称 Lanczos 方法 

如果矩阵 A 非对称，则 正交三 对角化 Q t AQ = T 一般不存 
在.这时有两种方法来处理.一种是 Arr ^ ldi 提出的，其基本思想是 
一列一列地产生正交阵使得 Q T AQ 二 H 为 Hessenberg 阵，见 
§7.4 .另一种方法是非对称 Lanczos 方法，它计算矩阵 G 二 
，…，\]和尸 =[/ H ， 纪，…， AJ 的列，使 P T A 0 = T 三对角阵 
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且 P T G = L .对于大型非对称稀疏矩阵的特征问题，这两种方法 
都很有效.它们也都可用来解非对称稀疏的方程组 = 

9.4,1 基本的 Amoldi 迭代 


把 Lanczos 方法推广到非对称阵的一种方式归功于 Amoldi 
(1951), 它利用 Hessenberg 分解 二 ff . 特别地，设0 = [ 心， 
q 2 ，…， qj ， 比较方程 AQ = 两边的列可得 

t4l 

Aq k = 2] A 碑， 1 ^ ^ ^ n - 1. 

i = 1 

把上述和式中的最后一项分离出来可得 

h + l,W* + l = A% - 2 - r k » 

其中= = 1 是 .由此可知，若 q 关0,则 ％ + 1 可通过下式 

来确定： 

^+1 — r k ^ k ^ l t k » 

其中 h k ^ ltk = II r , || 2 .这些方程定义了 Amoldi 算法，与对称的 
Lanczos 算法 (9.1.3) 类似，我们 得到： 



-0 

while + 

+ i = n^^k + i f k 

k = k + \ 


for i = l- k 


hik = qJw 




十 i,a 


11 r , II 2 


(9.4.1) 
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我们假定 1 为给定的单位 II * II z 范数初始向量 . ％称力 Amoldi 
向量.它们构成了 Krybv 子空间 K ( A，g j ) 的-组标准卍 交基： 
spanlu 2 ，…，％ 丨= spanj^ t , J 4^ 1 , A i _1 g ! [. (9.4.2) 


迭代6步以后，算法的运行情况可用第々步 Amoldi 分解来 概括： 
= QkH k +- rA, (9.4.3) 

其中仏 = …， L (:, 々）， 

「Ajl ^12 . h lh — 

^21 ^22 fllh 

扣 =j h i2 ■*• : 


LO 


^ k,k 


如果 q =0,则由仏的列组成了 不变 子空间，且 A (H,) 
QA ( j 4 ), 否则，问题的焦点是如何从 Hesscnberg 阵氏和 Amoldi 
向量组成的矩阵中提取有关 A 的特征信息. 


若3^6心 为仏 的单位特征向量， H„ = A：^ 则从 （9.4.3) 可 
得： 


(A - Xf)x = ely ' r k , 

其中 I = 我们称 A 为 Ritz 值， 1 为相应的 Ritz 向量.数 
1^1 II ^ 11 2 的大小可用来衡量误差界，虽然相关的扰动理论不 
像对称阵的情况那样有章可寻. 

WilkinsonC 1965,382页）讨论了 Amoldi 迭代的一呰数值上的 
性质.和对称阵的 Lanczos 迭代一样，向量义间的正交性也会丢 
失■要得到实用的 Arnold^ 特征值算法，必须注意 (9.4.1) 的两个其 
他 特征： 

■在第是步要用到 Arnoldi 向量 …， q k 且托 （1: 走 ，办） 
的计算需要 0(h) 个 flop. 因此，当产生一长串 Amddi 向量 
时，要付出很高的代价. 

- H k 的特征值并不按照 Kmiid 和 Paige 方式近似 A 的特征 
值.这与对称时能很快显露 A 的两端的特征值信息形成了 
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鲜明的对比*在 Amoldi 方法中 ，能 否较早得到特征值的信息 
强烈依赖于 W 的选取. 

这些事实建议我们在使用 Amoldi 方法时，应当反复地、仔细 
地选择重新开始和控制迭代最大值 .（ 回想 9.2.7 节中的 s 步 
Lanczos 方法）. 

9.4.2 重 开始的 Amoldi 方法 

考虑 Arnold ! 算法运行 m 步后，从 Amoldi 向量 L 的 
生成空间中选取一向量再重新运行 Amoldi 算法.由关系式 
(9.4.2) 知 g + 具有表 达式： 

9 + = p ( A ) q lf 

其中为某个不髙于 w -1 次的多项式.如果 Av { -^ = 

有特征向量展开式： 

Qi = + + 

则 <? + = 十…+ aJ ){ X n )' v n , 注意，空间 K ( A ,? + ，/ i ) 

在 p ( A ) 强调的特征方向上占优势.也就是说，如果比 
要大，则 Kiylov 空间 K ( A ， g + ， m ) 对特征向量 : r 職 y 
的近似比工胃^^要好得多（可以用 Schur 向量和不变子空间来进 
行这一讨论，而不必涉及特定的特征向量）. 

因此，从^ t « ) 中选取一个好的重开始向量 q +就是挑 
选一多项式“过滤器'用来除去不需要的部分.有许多不同的实用 
方法是基于已计箅的 Ritz 向量，见 Saad ( l 980 ,1984 ,1992). 

我们介绍 So^nsen (1992) 的一种方法，它隐含地应用带位移 
的 QR 选代来确定新的重开始向童. 每经 m 步以后重新开始.我 
们假设为所需要的特征向量的个数 . Amoldi 长度参数 m 
的选取依赖于维数《，正交性丢失的影响和机器的存储限制. 

经 m 步后，有 Amoldi 分 解式： 

AQ C = QfH, + , 

其中的列正交，为上 Hessenberg 阵.且 Qjr c 
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= 0 .这里下标 “ C ” 代表“当前 ( current )”. 把带位移的 QR 迭代应用 


于札： 

H ⑴ =H C 
for i = l：p 


end 

这里/ > = m -八并假设应用了 7.5.5 节中的隐含带位移的 QR 过 
程.我们将简地讨论位移的选取. 

正交阵 V ^ V ^- Vp 有三条重要的 性质： 

( 1 ) Jf + = V T H r V ，这是因为 v 7 H U)+ 

(2) 0]—二0,丨=1 :1 ? -1.这是因为每个％都是上 Hessen - 
berg 萍，从而下带宽 

(3) V 的第一列有如下 形式： 

Vei = a(H c ~ ^pl)(H c - - fzil)e lf 

(9-4.4) 

其中 a 为标量. 

为了验证性质 (3)， 只需考虑户= 2的 情形： 

VR 2 K|= V t (V 2 R 2 )R l = V^J ^ 2 〕一 fi 2 t)Ri 

=Vi( VfH ⑴ V! - = (iJ ⑴ - /, 2 f)V 1 H 1 

=( JJ ⑴- " 2 J )( Jf ⑴— = ( H c - ^ 2 I ){ H c - 川1), 
因为 R 2 R x 为上三角阵，矩阵 VjV 2 的第一列为阵（艮 - 
〜/) 的第一列的倍数. 

现在，我们说明如何利用矩阵 V 隐含地选取新的初始向童来 
重开始^ 0 1出过程.从性质（1)可得(9.4.3)的变换形式： 

AQ ,= Q + H + + r ^ lV f 

其中 G + = 这并不是一个长度为 w 的新的 Amoldi 分解，因 

为并不是 el 的倍数.然而由性质 (2) 有 
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AQ+ (: ,l：j) ^ Q k ( i y l ：)) H y (1:j ， 1:j) + twT - 

(9.4.5) 

这是一个长度为 j 的 Amoldi 分解.在 j + 1步“跳到"基本的 
Arnold! 迭代并运行/^步.我们可以把 （9.4.4) 延伸为一个新的长 
度为 m 的 Arnold! 分解.此外，利用性质 （ 3 )，相应的初始向量 
^"^ = 0+ (:，1)有下述特征： 

Q + (:4)= Q c Ve x = aQ c (H c - fipD-iH, - 

=a(A - /x^/)**-(A - (9.4.6) 

最后一步用到了 等式： 

(A — pl)Q c - Q C (H C -fJ) + rel 
以及 =0 对任意不高于 p _ 1 次的多项式成立. 

因此，其中 fU) 是多 项式： 

p(A ) = (A - fii)(X - ； u 2 ) … （A - fj.p), 

这表明这些位移是“过滤”多项式的零点.位移的一种有趣的选择 
是计算; I (H 丄且确定有用的特征值 H ，…4， 

X(H C ) = fA lt -U U ) 十 i, … 

令灼 i = 1 : 久这就 产生了 一 个“过滤”多项式，降低了谱中 
不需要的部分之影响. 

这是我们只介绍了隐含重开始的 Amoldi 方法的非常基本的 
部分.该方法有许多吸引人的特性.详细的讨论和分析见 Lehoucq 
和 Sorensen{1996) 以及 Morgan(1996). 


9.4.3 非对称 Lanczos 三角化 


另 一种推 广对称 Lanczos 方法的做法是 用一般 的相似变换将 
A 化 为三对角形式.假定 A 63 T x "，存在非奇异阵 <2使得 


. 583 . 



Yi 

?\ yi 


01 


Q l AQ = t - . . _ 

: 7n-l 

-0 ■** 民 -1 a n _ 

利用如下列分划： 

Q = [w-，t]， 

Q T = p = [户 

比较方程 = gr 与 a t p = pt t 两边的各列，我们 发现： 

Mk = 7k-\q k -\ + a k^k + tohi ， /o<?o 
A 1 p k = ^ k -\ Pk -\ + ^kPk + yhPk ^ i 7 /?oPo E 0 ， 
k = ixn - \. 

这些方程和双正交性条件 p t q = h 使得 
4 = pjAq k 
与 

严 ， > =(A - a^)q k - 7 k -iq k _ lt 
ykPk+l = (A - ajVPk - 爲 k-ipk-'- 
在选择数呙和 h 时有一定的自由度.注意到. 

1 = pJ+iQk + L = ( s k /7 M ) T ( r k /^ k ). 

一旦氐确定了 ， h = sjr k /^ k . 选择爲为“标准形式 ”：爲 = 
II q || 2 ，就得下列 算法： 

给定单位向责 Pol ，且 pjq ,^ 0 ^ 

k =0 

?o =0 » r o = ^i 
fio 二 O iSo = pi 

while(rjt^O) A C^^O) A C jJrjt^O) 
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A = II r k || 2 

7k = s!r t /JS k 

<h 十 i = r k / % ( 9 . 4 . 6 ) 

Pk^i = s k /7 k 

k = k + l 
ct k = plAq k 

r t = (A 〜 a k l)q k ~y k - l q k _ l 

= (A - a k l ) r p k ~ ^k-iPk-L 

end 

如果令 

/i … 0 1 

芦 i a 2 ■' : 


LO … h 」 

则在上述循环的底部可概括为以下 方程： 

A [ w .， 心]= Ui ， …， (9.4-8) 
A T [ pi ，…， fii ] 二[户1，…，九] Tf + wl . (9.4.9) 
若 n =0,则循环结束， span ] i ，…， 办 I 为 A 的一不变子空间.若 
4 =0,则循环也结束， span j pi A T 的一不变子空间.然 

而，当这些条件不成立且时，三对角化过程将终止，但得 
不到任何不变子空间的信息.这种情况称为“严重失败 '关 于此问 
题早期的讨论见 Wilkinson ( 1965,389页）. 

9.4.4 “向前看"的技巧 

研究一下算法 （9.4.7) 的分块形式中的“严重失败”现象是很 
有趣的.为简单起见，假定 = 考虑 分解： 
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M ! cj … 0 

Bi M 2 : 


P t AQ = 


,(9.4.10) 


L 0 … B r l M r J 


其中每一块都是 pxp 阶子矩阵.设 0 =[ 仏，仏]，尸二 
[ Phh ，…，为 g 和卩恰当的分块形式.比较= (? r 和 
^ Tp ^ pj . T 两边相挟，可得： 

Qk+i^k = ^Qk ~ Qk^k ^ Qk-L c J-i — R k * 

Pk + iC k - A T P k PMl P k - xBl - X ^ S k . 

注意， = PJ 4 仏.若非奇异，我们计算 B kt C k ^ 
使得： 


CjB k 

= Sjfl*, 


Qk+i = 

IW 1 ， 

(9.4.11) 

JVi = 

: S k Ci l 

<9.4.12) 


满足 PMGm = 4.当奇异时，就会出现“严重失败”现象. 

一种解决 (9.4.7) 中“严重失败”问题的方法是寻找 <9.4.10) 
形式的分解，其中块的大小能动态的确定.粗略地讲，矩阵 + 1和 
h + i 用一些特殊的递推关系一列一列地形成.这些递推关系可计 
箅非异阵的乘积.适当安排计算的顺序,使得正交条件 
+ i 二0和 = O 对所有的 i = l,k 成立. 


这种方法属于一种称为“向前看”的 Lanczos 方法族.向前看 
的步数是它产生仏 + i 和 P i + 1 的宽度.如果这种宽度为1，则可利 
用传统的分块 Lanczos 步 .Parlett,Taylor 和 Liu(1985) 讨论了长度 
为2的向前步.他们提出了 “无法补救的失败”的概念 .Fnnmd， 
Goitknedit 和 NachtigaK 1993) 概括了一般的情况,并讨论了算法 
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的许多细节.考虑浮点运算时，需处理“近似"严重失畋的情况.在 
实际计算中，每个 2 X 2 的或更高阶的 M ,. 都相应于近似严重失 
败的情况. 

习 题 

9,4.1 证明 （9.4. 1) 中的 Armldi 向量是正交的. 

9.4.2 证明 (9.4. 4〉. 

9-4.3 证明 （9.4.6). 

9-4.4 给出一个初始向量的例子，使得非对称 Uik ^ os 迭代 （9.4.7) 十 
断，且没得到任何不变子空间的信息.利用矩阵 

1 6 r 

A = 3 0 2 . 

-13 5- 

9.4.5 已知是上 HessendeiK 阵，试讨论如何计算一单位上三 
角阵使得这里 T 是三对角阵. 

9.4.6 说明在非对称情形中，求特征值的 QR 算法不能保持三对角结 
构. 
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第十章线性方程组的迭代解法 


§10.1 标准的迭代方法 
§10.2 共轭梯度法 
§10.3 预处理共轭梯度法 
§10.4 其他 Krylov 子空间方法 

在上-章，我们介绍了如何用 Larczos 方法解各种各样的线性 
方程组和最小二乘问题•这些方法适用于大型稀疏问题，因为它们 
不需要相应的矩阵分解.本章将继续讨论具有这类性质的线性方 
程组的解法. 

第一节粗略地介绍了一些经典的迭代法 daoobi 迭代， 

Seidel 迭代，超松弛迭代，切比雪夫半迭代等等.之所以介绍这些 
方法很简要是因为我们本章的重点是阐述共轭梯度法，在第二节 
中,我们从最速下降法自然地发展到这种重要的技巧.回想一下， 
在 §9.3 中，我们在 Lanczos 方法中就已提及了共轭梯 度法； 这里 
又导出这一方法，是因为它有一些实用的变化形式，这便是§ 10.3 
的主要内容.在§ 10.4, 我们将其推广到非对称的情形， 

我们提醒读者，本章中的一些记号不太连贯.在§ 10.1 中，所 
介绍的方法是建立在层次”故需用上标表示向量: r (i) 
的第；个分量.在其他节中，算法不需要显式利用矩阵（向量）的元 
素.因此，在 §10. 2 〜 §10.4 中，我们不用上标，记向量序列为 

彳而1 ■ 


预备知识 


阅读本章，需要第一章，第二章中第一至五和七节及第三、四 
章一至三节的内容.它们的关系 如下： 
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§ 10.1— § 10.2— 110.3— 110.4 
§7.4 第九章 

关于迭代法的专著包括 Varga ( 1962 ) , Young ( 1971 ) , Hage - 
mati 和 Young (1981) ，以及 AxelasonC 1994). Barrett 等人 （1993) 关 
于软件的“模板”十分有用。有时，更偏向 F 用直接（非迭代)方法解 
大型稀政问题.见 George 和 Liu (1981) 以及 Duff,Eristmn 和 Reid 
(1986). 


§10.1 标准的迭代方法 


在第三章和第四章中，方程组的解法涉及到系数矩阵的分解. 
这类方法称为直接法.当4是大型稀疏时，直接法不可行，因为所 
要求的分解因子是稠密的.当4是带状时，是 - 个例外.然而，在 
许多带状矩阵问题中，甚至带本身也是稀疏的，使得许多诸如 
Cholesky 分解等算法也难于实现. 

对稀疏线性方程组的解法感兴趣的一个原因是能数值求解偏 
微分方程的重要性.事实上，许多目前通用的稀疏矩阵技术是由偏 
微分方程数值解的研究人员所提出的. 

粗略地说，解稀疏问题 Ax ^- b 有两种途径:一是选直接法，利 
用稀疏性作适当修改.典型的修正策略是巧妙地利用数据存储结 
构和特殊的选主元技巧，使得填充最小. 

与直接解法相对的是迭代法.这类方法产生近似解序列 
U a ) 丨，矩阵 A 只在矩阵向量乘法时才用到.迭代法的好坏主要 
集中体现在迭代序列 U U ) 丨的收敛速度匕在本节，我们将给出几 
种基本的迭代解法，讨论它们的实际算法过程，并证明几个关于它 
们赛现的具有代表性的定理. 

10.1,1 Jacobi 迭代和 Gauss-Seidel 迭代 


最简单的迭代法可能是 Jacobi 方法.对主对角元非零的矩阵 
它才有意义.在 3 X 3 的问题 Ar 二6中方程等 价于： 
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- (^1 _ “12 工 2 - a 13 x 3 )/a " ， 

^ 2 = (^ 2 ~ ^ 21-^1 _ a 23< r 3)/ a 22， 

工3=(卜-叫々 - U 32 ： c 2 )/ a 33 ， 

假设 I ⑴是1 = 4 -1 6的一近似，则产生新的近似解 + 的一 
种很自然的方法是 计算： 

工卜 + 1 ) = U>1 - ^ 12 -^ 2 ^ - a lZ J0^ k) )/a u » 

4”)= ib 2 - a 2 { Jc \ k) ~ a 2 . 7 > oc ^ k ) )/ a 2 2 y (10.1 -1) 

^3 > + 1) = (^3 - a^2 k) ) / ah3- 

这就是《 =3时的 Jacobi 迭代.对一般的心迭代公式如下： 

for i = X：n 

•^“ 1 )= ( ^j k) - ^ a t pc { } k) )/a h (10.1.2) 
；=1 

end 

注意，在 Jacobi 迭代中，计算 if +1) 时没有利用最新得到的信息. 
例如，既使 ^ S i + 1) 已知，计算 + 也只是用到了 如果我 

们修改 Jacobi 迭代，使得每次都用准确值々的最新估计,则得如 
T 算法 

for i = l：n 


x { " 0 = ( b ; - - S ¥”))/〜 (10.1.3) 

J = 1 j=i + 1 

end 

这就是所谓有的 Gauss-Seidel 迭代， 

上面两种迭代都可用矩阵 L t D , U 来简明地表达.定义 
0 

a 2 i 0 0 

L - I ， 

- ■ » 

* ■ * 

* * m 

. « n , n -i 0_ 

D = diagUu ， … ， a n „). 


. 592 * 





「0 a 12 ，■- 

0 


… ^ 1 , 


(10.1.4) 


特别地 Jacob[ 迭代具有形式吨/ + 1) =冲⑴+ 6,其中 M；- 
D，i\；=-(JL + t/). 另夕卜， Gauss-Seidel 迭代可用 M G x (k + l} - 
Na ^ ⑴ + 6来表达，这时 = L + D t N G — - U. 


10-1.2 矩阵分裂和迭代收敛性 

Jaoobi 方法和 Gauss-Seidel 方法是一个大的迭代方法族： 

版 U+D = 心⑷ + b (10.1.5) 

的典型代表.这里 A = M ~ N 是矩阵 A 的一个分裂.为了使迭代 

(10.1.5) 实用，当 M 作为系数矩阵时必须容易求解.在 Jacobi 迭 
代和 Gauss-Seidel 迭代中， M 分别是对角阵和下三角阵 ■ 

(10.1.5) 产生的迭代序列是否收敛到解7 = 取决于 

Af — iJV 的特征值.为此，定义 ”阶阵 G 的谱半径为 
p(G) = maxi I A I : A ^ A (G)(. 
/0 (胂- 1 况）的大小对(10.1. 5 )的收敛性极为重要- 

定理 10,1.1 设！"和 A =Af _ 非奇异，如果 

M 非异且 M -1 N 的谱半径满足則对任何初始向 
量： r (0) 由 Mr (t + l) = JVr a> + 6产生的迭代序列 U ⑷丨收敛到解 
x = A ~ x b . 

证明记 e ⑴ = ⑴ - 工为第&步迭代的误差.由= iVr 
+ 6可得 MU (t + U -：r) 二 ⑴ - i) ■因此 

e u+1) = JVf _1 Ne U) = (M _1 N) i+1 e (0) . 

由引理 7.3.2 可知 （JVf M N 穴—0当且仅当 p ( M ~ l N ) <1， □ 

对研究按下列思路所构造的算法，这一结果是非常基本的‘ 

*把 A 分裂成4 =蚪-尺，使得方程组版= 3容易求解； 
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.鉴别出速代矩阵 G 二 M ] N 满足 〆 G )<1 的矩阵类. 

* 给出关 〆 G ) 的一些进一步的结果，分析残差 c ⑴是如何趋 
近于零的. 

例如，考虑 Jacobi 迭代 Dx (k + 1) = - (L + V ) j ： (k) + 6,保证 
的一个条件是严格对角点恍.实际匕若 A 有此性 
质（见 3.4.10 节），则 

p ( Mj l Nj )^ || D~ l (L 十 （7) IU = max S 心 < 1. 

i 命 ur] a it 

通常，对角元越占优，收敛速度就 越快； 但 i 有反例，见习题 
10.1.7. 

为了证明 GauvSeidel 迭代对于对称正定矩阵是收敛的，需 
要一个关亍谱半径的更为复杂的结果. 

定理 10.1.2 若4 €妃“对称正定，则对任何初始值 r ⑻， 
C ^ auss-Seidel 迭代 （10. 1 .3) 收敛. 

证明把4写成 A 二 L + D + L ' D 二为严格下 
三角阵‘根据定理 10. 1.1，只需证明矩阵 G = -(D + Lr 1 /， 的 
特征值在单位圆内.既然 D 是正定的，我们有仏⑺二 
+ — 其中 /.!= D WU ? 1 々因为 G _ Gl 的特征值 

相同，我们只需证明 p ( G 1 )< l .若 G ! ji : — Aj : , x h j : — 1，我们有 

— [7 工 = 乂 （J 十 Li ) J ： , 因此一 jr n Ljjc = A ( 1 + 令 

: t H LiX = Ci 十访，则有 

I f 2 = I ~ a + ib_ 2 _ _ a 2 + h 1 _ 

I 1 + a + & — 1 + 2 a 4 a 2 十厶 2 * 

然而，由于 D t / 2 AD 1/2 ^ i ^ + lj 正定，不难证明 0<1 + 

工= 1 + 2 dt ，这意味着 IA I 〈 1. 口 

这一结果经常被引用 •因 为很多椭圆型偏微分方程离散化以 
后得到的 矩阵常 是对称 E 定的.在文献中，出现了许多这类的结 
果. 
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10.1.3 Gaiiss*Seidel 迭代的实际实现 


我们现在集中讨论几个关于 Gauss^Sddd 迭代的实用细节. 
为了使算法实现起来简便，把 Gaus^Seidel 迭代改写 如下： 
for r = 1 ：« 


A 


i-l n 


end 


这一计算需要大约两倍于 A 中非零元的个数的浮点运算.要 
得到工作量的更精确的结果是没有意义的，因为算法的实际运行 
在很大程度上取决于相应问题中的矩阵结构. 

为了强调这一点，我们把 U0.1.3) 应用到 NMXJVM 的块三 
对角 系统： 


r - j„ 


尽，一 



-i, t -J n 


S2 


fi 



1 


\ 

_ —h T _ 


Sm~ 




其中丁 = 

_ 4 - 1 〜 

-1 4 -1 

-1 **. 

嗎二 

- G ( l ， j )_ 


、■ -1 

_ -1 ( 


^ G ( NJ )- 

[ 





,= i 1 

-F(N’j)- 

当 Poisson 方裎在一长方形上离散化以后得到的就是这种问題.容 
易证明矩阵4是正定的. 

当1*€|0，]^+1丨或）€彳0,好+1丨时约定以/，>)=0，我们可 


* 595 . 



以把带覆盖的 Gauss-Seidel 迭代写成如下形式： 

for y = 1 ： M 
for i — l：N 

G(i f j ~ 1) + G(i t j + 1))/4 


end 


end 

注意，在这个问题中，对矩阵 4 没有存储要求. 

10.1.4 超松弛迭代 (SOR) 

GmiwSeidel 迭代由于具有简单的形式而引人注目.不幸的 
是，当 Ma l N G 的谱半径接近于1时，收敛将会很慢，因为误差 
以 P ( Mo l N G ) k 的速度趋近 于零. 为了改进这一点，设比 6JR ， 
把 Gauss-Seidel 迭代作如下修正： 
for j = 1 ： /I 

-w{bi - - 交平(广、)〜 

>=1 J_i” 

+ (1 - Tv ) x ( i k> (10.1.7) 


end 

这就是超松弛方法.利用 （10.1.4) 中的记号，可以看出 90R 迭代 
由下述方程 给出： 

财^⑷ 1 ) = N^r U) + - wb t (10.1.8) 

其中^1^ = 1>十功1，]^=(1-^；>1>-功1；-对少数几个有结构的 
(但很重要）问题，如 （10. 1.6)，使得小的松弛参数 
加的值是已知的.此外，有一个重要的结杲 〆二 
但是，在更复杂的问题中，要决定一个合适的 vu , 鶉 
要进行非常复杂的特征值分析. 


10,1.5 切比霣夫半迭代方法 


另一种加速迭代收敛速度的方法是利用切比雪夫 （Cheby- 



shev) 多 项式. 假设 ：r ⑴， a: ⑵，…， j : ⑴是由迭代 + = Nx ⑴ 
+ 6 产生. 我们希望确定系数卜 u) , J = o : I使得 

y” = s^c^)^ o> (10*1.9) 

比: T ⑷更好.若文⑼ =〜=//) = 工，很自然要求因此要 
求 

k 

2a( 々 ） =1 (lo.i.io) 

j-0 

在此限制下，我们考虑如何选取 bU) 使得: y u) 的误差能够最小. 

回忆定理 10.1*1 的证明，工⑴其中 e( 0 ) 
—尤⑻- j ： ,可知 

) ⑴- j ： = X 4 (左 )( 文。） -x) = 'y\v : (k 、 { M" 1 NVe ⑻ 

两边取范数 || . ft 2 得 ' 

II - a： || 2 < II p k ( G ) || 2 ■ ||e( 0) || 2 ， （10.1.11) 

其中 G=M _1 N， 

k 

Pk ( z ) = 2 vjik )^. 

由条件(10.1.10)知匕（1) = 1. 

在此基础上假设 G 是对称的且特征值 满足： 

- 1 < a<A rt < A„_!< ……认 < /? < 1 ‘ 

从而有 

II Pk(G) II 2 = max I ^(A；) ] < max | | . 

A(A) 

因此，为了使得 P“G) 的范数很小，我们需要寻找一多项式使其 
在区间 [« j] 上尽可能小且满足久 （1) = 1 .考虑由递推公式 Ci U) 
= 2 zcj - i ( z ) — Cj - 2 (^) i CQ ( z ) = l t ci ( z ) = z 产生的 Chebyshev 多 
项式 qU ). 它们在区间 [-1,1] 上满足但在区间 
[-1，1]之外，上升很快.因此，多项式九 U) 取为 
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办 U ) = 4(-1 + 


其中 


1 — a 


1 + 2 .它满足外（1) = 1且在 [ a ，0] 


上很小.从九 U ) 的定义及等式 （10.1.11) 可知 


II 3^ a) -xl| 2 < 


|| X - X (0) II 2 

Iq (/^)| 


因此，当^越大，收敛的加速也越快 - 

为使上述讨论成为 --+ 个实用的加速算法，需要比 （10 J .9) 更 
有效的方法来计算: y U ) .我们已假设《是很大的，因此，对很大的 
走，利用工 <()) 4⑴，…，/以的值是不方便的，有时甚至是不可能 
的- 

幸运的是，利用 Chebyshev 多项式中的三项递推公式，可导出 
上述算法的三项递推计算公式.特别地，可以证 明：若 

^ + 1 = 2 尸《 


则 

广 > rn (八严 1) 切⑴）+严1)， 

Mz w = b-Ay (k K ( 10 . 1 . 12 ) 

y = 2/(2- a ~^) 

其中 = y ⑴ = i ⑴，我们这一技巧称为相应于 My (k + ,) = 

iVy U) + b 的 Chebyshev 半迭代方法.为了使加速有效，需要好的 
下界 a 与上界，和 SOR 方法一样，除了少数几个有结构的问题 
之外,这些参数很难确定. 

Varga ( 1962，五章 ）， Golub 与 Varga C 1961 ) 深人地分析了 
Chebyshev 半迭代方法. 


10.1.6 对称 SOR 方法 

在导出 Chebyshev 加速技巧时，我们假没了迭代矩阵 G = 
M ~ l N 对称.因此，我们上面简单的分析不能应用于非对称 SOR 
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迭代阵 M ~ l N w . 然而，可以将 SOR 方法对称化，使之可利用 
Chebyshev 加速技巧.其思想是将 SOR 法与向后 SOR 迭代相结 
合： 


For ? = w ： - 1 ： 1 

= xv(b t - Y^aijx ] k+V) -公 a,，”)）/% 

j — I j — i M 

十 (10.1.13) 
end 

在 （10.1.7) 中，把未知数的顺序颠倒过来，就得到上面的迭代.向 
后 SOR 方法可用 （ 10 .1.4) 中的矩阵记号来描特别地有 

= iV ^ U) + wb ， 

其中〜 〜 

JVf w = D + mV , N 加 = (1 ^ uu)D — zvL . (10.1.14) 

如果 A 对称 （17=0, 则兑/访1，<=^1.且有如下迭代 ： 

M ^ c ( kil /1) ^ N ^ ik) + wb t 

W + 1 )Hr ㈣) + i (10 丄 15) 

很显然 ，G = 是这-方法的迭代矩阵.从和 

N w 的定义可得 

G = jVT _1 N = D . (10*1.16) 

如果 U 的对角元都是正的，且 KK T 为 Njjr 1 Nw 的 Cholesky 分 
解，则因此， G 相似一对称矩 
阵，特征值为实的. 

迭代 （10+1.15) 称为对称超松弛迭代方法 （SSOR). 它常常和 
Chebyshev 半迭代加速技巧在一起用. 


习 题 

10 , 1.1 证明： Jacobi 迭代可写成 ^ u + u = + 的形弍，其中 

. 重新写出 Gauss ~ Seidel 迭代的 形式 . 
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10.1.2 证明 ：若矩 阵严格对角占优，则 Gauss-Seidel 迭代收敛. 

10.1.3 证明：对2乘2对称正定矩阵 Jacobi 迭代收敛， 

10.1.4 证明： 若 A = 是竒异的，则既使是 M 非岢异，也不可能 

有 piM ^ NXi 成立」 

10.1.5 证明 （10.1,16) 

10.1.6 证明定埋 10.1.1 的逆命题.也就是说，若迭代 Mt U + 1> = 
N：r ⑴+办总是收敛的，则〆 M 屮）<1. 

10.1.7 ( 由片 .S. Varga 提供)假设 


A x = 



- 1/2 






Ji 和 J 2 分别是相应的 Jacobi 迭代矩阵，证明 〆 JO 并反驳如下结 

论： 对角元占优程度越大 Jacobi 迭代收敛的速度越快 . 

10.1.8 Chebyshev 算法由 h 面参数确定： 

叫 1 =内 +1 (1今）， 

这里 q { A ) = coe[^ cosh 1 ( A ) ] ， A > 1 ■ 

( 心只 要 0< 户 <1 则对々 >1 有 1<^<2. 

(b) 证明：叫 + 丨 < 叫 . 

(c) 确定：当夫 — 00 时的极限 limtiv 

10.1.9 考虑二阶矩阵 A = p 

(a) 在什么情况下 , Gauss-Seidel 迭代收敛？ 

(b) 对于什么样取值范围的参数 m ， S0R 方法收敛？这一参数的最优选 


取是何值？ 


( c ) 对矩阵 4 &1，重复（ 3 )化）的所问（提示：利用 S 的奇异值 
L-S 

分解）. 

10.1.10 我们要求方程 Au = J 的解，其中4关 A 1 ， 一个典型的问题是 
考虑下列方程的有限差分 逼近： 

| - ，+ ‘ = 0 ， 0< x < \ t 

1 «(0) = 10 f u(l) = 10^ t 
得到的差分方程如下： 

~ «i-i + 2 4 1 ^ R(u i + i — I/,- _ 1 ) = 0 f i = l：n 
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其中 = 4/2，^ = 10 且 w + 1 = 10 e '数尺应当小了- 1.迭代 Mu it + 1} = 
M / u> + / 的收敛速度有多大？其中 M^{A + A t )/2 t JV = ( A t - A )/ 2 . 

io . i . n 考虑 迭代： yo 1 ); 從（办⑴十 d - v *-])) 十 y *— 0 : ■其中 b 
的 Sdmr 分解为以’即二 ㈣ ⑷山，…，，假设 ：t = Ur + ^ 

( a ) 导出一个关于 = 的方程 

( b ) 假定: y (1> = fl ； y W + 山证明 e u) = 九 （ B ) e (()) , 其中当 A 为偶数时，勿 
为一偶次多项式，^为奇数为， A 为一奇次多项式. 

( c > 令导出一个关于 = 的差分方程，试确定 
/； 0) 和/； 15 的准确解. 

( d ) 说明如何选取最优值 

本节注释与参考文献 
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P. A.Knighi(l993) - “Error Analysis of Stationary Iteration and Associated problems,Ph ， 
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§10.2 共轭梯度法 


SOR 方法、 Chebyshev 半迭代法以及相关方法的一个困难是 
它们依赖于参数，而适当地选取这些参数有时是很难的.例如，在 
Chebyshev 加速技巧中要估计迭代矩阵 M ^ N 的最大、最小特征 
值.除非该矩阵有充分的结构之外，否则要做到这一点是从解析上 
不可能或在计算上太昂贵. 

在本节，对于对称正定问题 h = 6,我们给出避免上述困难 
的一个方法，即著名的 Hestenes - Stiefel 共辄梯度法.在 9.3.1 节 
中，我们已从 Lanczos 算中导出过这一方法.现在，从另一角度来 
导出此方法，此推导也为§ 10.3 和§ 10.4 中的几种重要推广作准 
备. 


10.2.1 最速下降法 

导出算法的出发点是考考如何极小化下列函数： 

必 (_ r ) = ~^ x t Ax - x T b f 

A 6 ■假设 A 对称正定.必 U ) 的最小值是 

_ bT f lb ，令 x = A_ l b 即可得到.因此，当 A 对称正定时，极小 

化必 U ) 和解方程 A：r = 6是等价的. 

极小化必（工）的最简单的策略之一是最速下降法.对当前点 
A 4(幻在负梯度方向- VlKx r ) = 6 - 上下降最快.我们称 
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r , = b ~ Ax c 为残童.如果残量非零，则存一 ih : 数使得 + 
«~)<彡(4).在最速下降法(用精确线搜索）中，令 
a = rJr c /rlAr c T 

则下述函数： 

Hjc c + ar c ) - ^(jc c ) - arjr r + y a 2 r^4r c , 

达到极小.我们给出如下 算法： 

10 =初值 
n } = b - Ar 0 

while r k ^0 
k = k + l 

rk- i『k — i^^k - 1 k — \ 

^k = ^k-\ + a k r k - ! ( 10 . 2 . 1 ) 

r k — b - Ar. h 

end 

可以 证明： 

卜 u ) + 音 / W)<(i 一 ^ ^)(Kx 卜 t )+ 士^ ^叫 

( 10 . 2 . 2 ) 

这说明算法是全局收敛的 .不 幸的是，当条件数 K2 (4 ) = 
很大时，收敛的速度是极慢的.在几何上，这意味着 
多(2)的等高线是一压的很偏的超椭球.找最小点，也就是 找一个 
两边陡哨中间相对平坦的山谷之最低点.在最速下降法中，翻来覆 
去地穿越山谷，而不是顺着谷而下.换句话说，迭代中梯度方向的 
变化不是足够大. 

10*2.2 _般的搜索方向 

为了避免最速下降法中的缺陷，我们考虑沿着一组方向[仏， 
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/>2,…丨逐步极小化 A 它们不必是残量方向彳，…丨.易证，当 
a - a k — pJr k - i / pjAp k 时，卢（:^」+ 达到最小-若这样选取 

a ， 可证： 

+ akp k ) - ^(jc k -i) - y \^pj4p ( 1( )* 2 * 3 ) 

为了保证 W ： r ) 的值能减小，九与心斤能正交.这就导出了算法 
的 框架： 

给定初值 M 
1 = b — Axq 

= 0 

while r k ^0 
k = k + l 

选一方向九，使得 ( 10 . 2 . 4 ) 
- pin - i / pl^Pk 

^ ^ - 1 + a k pk 

r k = h ~ Ax k 

end 

注意， J ： k ^ xo + Span i ^1, **'t l = I J ：0 + y \ P \ + + y ^ Pk , 

li 丨.我们的目标是选择一列既然保证收敛性，又能避免最速 

下降法缺点的搜索方向. 

10.2.3 A 共轭捜索方向 

如果搜索方向是线性无关的，且 A 为下列问题的解 
min ♦{ x ') 

文 G jto + span ( 10 - 2 . 5 ) 

々 = U 2, …，则能保证最多 n 步就收敛到真解.这是因为, r n 便 
卢(^)在] R " 上最小，从而= 6. 

然而，为了使这成为一种可行的途径，搜索方向必须具备这样 
的 性质： 能够很容易从^ i 计箅出让我们考察一下，在上述条 
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件下怎样决定 Pk ■若 

- 工 0 + Pu 十 ap k , 

其中 iV 〗 = [〜，…，户卜】]，#彬 . 则 

H^) = ^U + P k _ { y) + ay r Pt lAPi + -fpjAp k - apW 
如果九 G span Up ^，…， } 丄，则交叉项 ay ^pJ_ vA p k 为零， 
且寻找最优的： t t 化为两个独立的极小化问题：一个是寻找 > 一 
个是寻找 a ， 即 ’ 

Hxk) " 十 Pk-iy + a h ) 

^ nin^Uo + P k . ^y) + ^plAPk - 矽 2 ，。） 

^ ，必 ( 工 0 + Vk-\y) + 吵 ( 士心 J4 典 — apJr Q ) 

注意，若是第一个极小化问题的解，则 + 

在叫+叩^彳/^/^…^ — “上极小化 Rj ；), 对^的极小化问题 
之解是 叫： p > 0 / pjAp k •由 A 共轭条件有 
pJ r k-i - plib - Ax ^- i ) 

= P^ h - A( 、 r 0 + ^-i^-i)) 

' pJ^Q- 

利用这些结果可知 A = w 外，且得到了 （ 10 .2 J ) 的一个例 
子： 

: CQ ; 初值 
k^O 

f < i ~ b — Aro 

while r k ^O 

是=走十 1 

选 p k 6 spanl A /> t , , Ap k _ A | ^ , J _ pl rjt _ l ^Q (10.2.6) 

a t = Pln - i^pjApk 

x k = 心 -i + CtkPk 
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r k = b - Ax k 

end 

下面的引理表明找到满足以上性质的搜索方向是可能的. 

引理 10.2.1 若 rn#0, 则 3 九 6 spani , Ap^ - 1 1 ^ 

且 P! r k-i 

证明当是 =1 时，令九 = - 办 >1 时，由 r k - L 7^0 可知 
A~ l b ixo + span \ p\_ ， Pk-l \ > b € Ajt 0 + span \ Api ，… T 
^Pk-l\^ r a ^span j /4/»i ， … ， Ap k -y L 因此 3 /> € span | Ap x ，…， 
A 九 -i 1 丄使得 p T r 0 ^O . 但 q! 6 :r 0 十 span I />i ， … ， A&-i I ，所以 
^- 1 ^ + span! ,■■■, A^ - il . 从而可得 p T r h -i = p T r Cl #0. 

□ 

(10.2.6) 中的搜索方向称为 A 共轭的 t 因为对所有的 i 手 j ， 
有户] A 岛=0.如果…，九]是由这些向量组成的矩阵，则 
= diag (/? f 却 1 ，…， ) 非奇异，这是因力為是正定的 
且搜索方向非零.由此可见，&列满秩.这保证了最多《步收敛， 
因为如果迭代到这一步的话）在 rMP n )^ R n 上极小化 
Hx). 

10.2.4 选择最佳搜索方向 

一种结合最速下降法和4共轭搜索方向法优点的方法是在 
(10.2.5) 中选取离最近且与 p u -% p k - X A 共轭的 A . 这就 
得到了共轭梯度法的“版本 0' 

给定初值抑 
k =0 

ro = b~ Ajc 0 
while r k ^0 
k = k + l 

if A ~ 1 (10.2.7) 


夕 1 =疒0 


* eo7 . 



else 


选取九 ， 使得它在空间 span 1 AP ] ，…， 益九-」 1 上极 
小化 || p ~ r k -i !| 2 


end 

^ — pT r k - \/ pJ^Pk 

^ ^ i + ^hpk 

r k : b _ Ax k 

end 

x = x k 

为了使该算法成为稀疏问題 Aj ： = b 的有效解法，我们需要计算 
P , 的有效方法.为了得到最终的迭代公式，还需大量的分析.第一 
步，先证明九为某个特定的最小二乘问题的残量. 

引理 10.2.2 当时，由算法 （ 10.2.4 ) 产生的抖满足 
Pk 二 ^-1 - ^ Pk - i ^ k - i . 

其中 h-i = [户 1，户2， . ，/为 

mtn || r k -i - AP k - X z || 2 

的解 . 

证明设为上面最小二乘问题的解 d 为相应的残 量：户 
—- 1 — APi 由此可得 AP ^ - 1 二 0 . 此外，/> = [J _ 

( 4 巧- 1 )( 41 ^- 1 ) + ] 0 - 1 是 ranUiV 〗） 丄上的正交投影. 
故它是 ran ( 中离最近的向量.因此夕=九 . □ 

利用这一结果，我们可得到许多关于残量搜索方向办和 
Krylov 子空间 

K(A,r 0 ,^) = spanl Aro, … ， A 卜 1 r 0 l 

之间的重要关系. 

定理 10.2.3 在算法 （10.2.4) 中，经过 A 步迭代 后有： 

n = n-i - aiApk (10.2.8) 

Pjr k = 0 (10.2.9) 

spanj/M ， … ， 九 1 = spani r 0 r", ! = K(A,r 0 ,^) 

( 10 . 2 . 10 ) 
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且残量，…，互相正交. 

证明在知两边左乘利用残童的定义可得 
方程 （10.2.8). 

为证明 （10• 2.9) ，回想前面已得出 x k - + 1*咖，其中災是 

分 Uo + P^) = Hx,) + ^y T (PUPk)y- y T Pk(b- Ar 0 ) 

的极小点.这意味着匁为方程组 Ar Q ) 的解， 
因此 

0= P r k {b ~ Ax ^) - PjAP^ k 
= Pj(b - A ( j ^ 0 + P ^ jfe )) = Pjr k . 

为证明 （10.2.10), 我们注意从 （10.2.8) 有 

\ Api t '- t Ap k J ^ spanf t r k _ Y \, 

而且从引理 10.2.2 有 

Pk = r k -L - yAp^^Zk-i G spanir 0 , … ，广卜 」 . 

从而 

[Pi ， … ， At] = [H> ， … ， nt-i]r ， 

其中 r 为某个上三角阵.由于搜索方向是独立的，故 t 非奇异.这 
说明 

spanih ，…，九 f = spanUo, … ， Q-ih 

利用 （1( L 2.8) 可得 

n 6 span! r & ^,Ap k \ ^ spanj r*-!,Ar 0 , **■, Ar^i | , 

由归纳法知 （10.2.10) 的后一等式成立. 

最后，证明这些残量是正交的.从 (10.2.9) 可知 q 与朽的像 
空间中的任一向量正交.而由 （10.2.10) 可知此像空间包括 q ， 

ri ， …， □ 

利用这些事实，我们下一步证明九是前一个搜索方向 p k ^ 
与当前残量之间的线性组合. 

推论 10.2.4 (10.2.7) 中的残量和搜索方向有如下 性质： 

p k 6 spani ^^ i . rjt-il , k ^2 


• 609 * 




证明 = 2时，由 （10-2.10) 可得 p2 ^ span ( q， r i t ■ 但 Pi = 

r 0 ，所以 九是九 与 n 的线性组合. 

是>2时，把引理 10.2.2 中的向量 am 作如下 分划： 



运用恒等式 Q-i = r >_2 _ ，有 

Pk= r k-l - AP k -\z k - } 


其中 


= n-i - J 4P £ _ 2 tt' - ^Apk-i 




+ Sk — lt 


&-i = - ~^n -2 - AP k - 2 iv 

^k-i 

^ span! r k _ 2 ,APk-2^\ 

Q span! r fe - 2 tApi ， **-tA/)^ 2! 

^ spanj ,r k _ 2 \ • 

因为 n 总是相互正交的，故 和 正交.因此，引理 10.2.2 
中的最小二乘问题等价于选择 w 和 A 使得 

IU1I 卜 (i+eflU-JhlU-W 

达到最小.既然的2范数当 z = 时最小且残 
量力 P 卜1，所以 4-1 是办-1的一个倍数.因此 Pk ^ Span I r ^-! , 
Pk-l\ □ 

我们现在导出九的一个简单的表达式.不失一般性，根据推 
论 10.2.4 可设 


Pk = n-i + ^ kPk-i 

由 pr _ iA ^= o , 可得 

㊁ k pJ-L^ r k l^pJ-l^Pk -L 

这就得出共轭梯度的“版本 r : 
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给定初始值 : Tl) 
A =0 


r 0 = ^ - Axo 
while r k 7^0 
k = k f 1 
if ^ = 1 

= r 0 

else 

A = _ pl- \^ r k -\/pJ- v Ap k - x 

Pk = r k -i^ ^kp k - i (10*2.11) 

end 

plrk-i/pjApf, 

工 i = A -1 + ^kPk 

r k ^ b-Ax k 


end 

x 二工 k 

在算法的运行当中，每步需要三次不同的矩阵向董乘法.然而，利 
用 r k = r k -'- ak Ap k 计算残量以及将 

rl \r k - v =~ ak-irJ^iAp^! ( 10 . 2 . 12 ) 

r J -2 r k -2 - ^ k -\ pJ -\^ Pk -\ (10*2.13) 

代人爲的表达式中，就得到下面更有效的 形式： 

算法 10.2.1( 共轭梯度法）如果 A 对称正定， 

6€砹"，工 0 6,为初始近似值 （ Ax 0 々6), 則下列算法可计算出 
,使得 Ajc = 6 
^ =0 

r Q = b — Aro 


while r k ^0 
k = k + \ 

if = 1 


. 611 • 



Pi = r 0 

else 

~ r J \ r k~lj r J-2 r k-Z 

Pk = r k-\ + ?kPk 1 

end 

a k = r J-i r k-ij pl^pk 

工 Jt = 工卜 1 + ^kpk 

r k = r k-\~ a^Apk 

end 

x ~ 

这个算法本质上就是出现在 Hestenes 和 StiefeK 1952) 原文中的共 
轭梯度法的形式.注意，每步迭代只用到一次矩阵向量乘法. 

10.2.5 与 Lanczos 方法的联系 

在 9.3.1 节中，我们从 Lanczos 算法中导出了共轭梯度法.现 
在，我们通过从共轭梯度法“导出” &_方法来看两个算法之间 
的联系.令 

Rk = [ q ， n ， …， e E ltXk T 
B k 为如下的上双对角阵 

'- 卩 2 0 

1 ■' n e 妒 

o 1 ， 

从方程 A = ^-i +AA =2:1/^ = 4 可知札=1»此.既然 
矩阵 A = [Pi, …，九]的列是 A 共轭的，我们可以看出況 Jutf 
Bjdiag Ap lt -^ pjAp k ) B k 为对角阵.从 （10.2.10) 可知，如果 
A = diag(p 0 , …，涔- D ，外= || r,. || 2 ， 

则 if〆 _1 的列构成子空间 span] r 0 » Ar 0 , "% A i_l r 0 t 的一组标准 
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正交基.因此，这个矩阵的列本质上是算法 9.3.1 中的 Lanczos 向 
量，即 

7/ = 土 W ' = 1:左 

此外，相应于这些 Lanczos 向量的三对角阵为 

T k = A^BjdmgiPjAP^BtA- 1 . (10.2.14) 

这个矩阵的主对角元和次对角元在共轭梯度法的迭代中是可以得 
到的.因此，在算法 10.2.1 中，产生七的同时，也得到了 A 的两 
端的特征值(条件数）很好的估计. 

10.2.6 一些实用的细节 

算法 10.2.1 的终止准则是不现实的.由于舍人误差的影响， 
残量间的正交性有所损失，从而在数学上不能保证有有限步终止. 
此外，当应用共轭梯度法时，《通常如此之大，使得 OU ) 步选代 
工作量也是不可接受的.因此，通常根据最大迭代次数以及残 
量的范数来给出终止准则.这就导致算法 10.2.1 的实用 形式： 

:c = 初始值 
k=0 

r = b~ Axq 
邱 = II r H 

while {/p k >t II b II 2 )A(^<jfe lna3C ) 

是=是 + 1 

if 

P=r (10.2.15) 

else 

爲 ~ ^k-V^Pk-2 
P = r + 卩 kP 

end 

w — Ap 

a k - Pk-I^P T <0 
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p,= IIMli 

end 

在每步迭代中，这一算法需要一次矩阵向量乘法和 10» 次浮点运 
箅.注意，实际上只要存储四个向 量：: r / j 和&标量的下标是 
不必要的，这里不过是用来与算法 10.2.1 比较而已. 

用 (10.2.14) 给出的三对角阵 n 的最小特征值的倒数近似 
得到误差的实用估计.可基于此给出终止准 
则- 

把共轭梯度法看成一种迭代法的思想是 Reid (1971) 最先提 
出的.迭代的观点是很有意义的，但是收敛的速度则是此方法成功 
的关键. 

10.2.7 收敛的性质 

作为本节的结尾，我们考察一下共轭梯度法产生的迭代点列 
Ud 的收敛性.我们给出两个结果，它们都说明了不管是在低秩 
扰动的意义下还是在范数的意义下，当 A 接近于单位阵时，共轭 
梯法非常有效. 

定理 10.2.5 如果 A = r + B 为《阶对称正定阵，且 
rank(B); 则算法 10.2.1 至多 r+1 步收敛. 

证明子空间 span| r 0? Ar 0 »'" T Vq [ = span! r 0 ,l*r 0 , … ， 
妒_%1的维数不超过 r + l . 既然 p u …， p k 可生成这一 +空间， 
且线性独立,则迭代次数不能大于 r + 1. 

从这一结果可得如下重要的 结论： □ 

* 如果4接近于单位阵的秩 r 校正，則算法 10.2.1 经过是+ 
1步后差不多就可收敛. 

在下一节中，我们将说明如何利用此直观结果. 

另一种形式的误差界可用 A 范数来得到.定义 A 范数： 
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■j ⑴ fl ^ — Yoj^Aw ， 

定理 10.2.6 假设 Ae . pw 对称正定，为算 
法 10.2.1 产生的迭代序列， k = ac 2 (4) 则 

II ^ - Xk II a^2 \\ JT- Xq\\ a ^~：l 

y K + i ； 

证明见 Luenberger (1973 ， 187 页）. □ 

丨的逼近程度经常比定理估计的要好得多.然而，定理 
10.2.6 的一个实用形式倒很 有用： 

• 若 a : 2 ( A )~1, 则在 A 范数意义下，共概梯度法收敛很快. 
在下- +节中 ，我们论述如何把一个给定的问题 Ax = b 转换成一相 
关的问题=孓，其中 f 接近于单位阵. 


习 题 


10.2.1 证明 （10.2.1) 中的残量满足当 j = , f 1时 rjr y =0. 

10.2.2 证明 <10, 2.2). 

10.2.3 证明 （10,2. 

10.2.4 证明 （10.2.12) 和 （10-2-13). 

10.2*5 给出 （10.2.14) 中三对角阵 r A 的元素的计算公式 

10.2.6 在算法 9.3.1 和 10.2.1 实际运行中，比较它们的计算量和存 
储量. 

10.2.7 证 明：若 A € R " X " 是对称正定的，且有 A 个相异的特征值，则 
共轭梯度法最多运行 A — 1步就结束. 

10.2.8 利用定理 10.2.6 证明： 


\\ A 


bh<2rK (^Ti) k 


x Q - A~ l b || 2 - 
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J, CuIIum and R r Willoughby( J^SO). ^ J hr I^anczos Pheuumena: An Interpretation Based on 
CorijMgiite Gradient Optimization, ^ Lm, Alg. and hs Apphr 29 ， 63^~90. 

最后，我们提 下， 这方法可用来 M 算大型稀疏对称阵的柠征向量- 
A. RuKc find T. Wibci^( 1972). Method of (Conjugate Gradients Used in Inverse Itera 
tiori/B/T 12^543—554. 

§ U ).3 预处理共轭梯度法 

我们在上--节的结尾中提到，当矩阵为良态或有少数几个不 
同的特征值时，共轭梯度法用起来很有效 .（ 后一种情况即 A 是单 
位阵的低秩扰动.本节中，我们将介绍如何预先处理线性方程组， 
使其系数矩阵为上述的两种情况之一. 

10.3.1 推导 

考虑到《阶对称正定线性方程组 Ar = 6.预条件共轭梯度法 
的思想是把正规的共轭梯度法运用到变换了的方 程组： 

Ax = b t (10.3.1) 

其中 A^C V AC f x = Cx , r = C y b t C 为对称正定阵.依照 
10.2.8 节中的结论，我们试图选择矩阵 C ， 使得 f 是良态的或具 
有多重特征值.不久将会看出，矩阵 C 2 也必须要简单-些. 

如果把算法 10.2.1 用到（103.1)，则 得到： 

走=0 

h 给定（ X 三 e f ) 
ro - h - 
while r k ^0 
k = k + \ 
if k=l 
Pi = 

else (10.3.2) 


. 617 * 


pk = ^ k -\ ^ l\p k -\ 

end 

叫 = l AC ] p k 
- \ + a k p k 

r k = r k - { - a k C ^AC^p, 

end 

: r = 匕 

这里 ， 为 y 的近似，？ ^ 是变换了的坐标系的残量.即匕 = 
当然，且得到7的值，则通过方程 x = C < x 可得 
到: r 的值.然而利用定义 p k = Cp k y x k ^ Oc k R 6 = crVi ，就 
可避免直接利用矩阵 （ T 1 . 实际上，如果我们把上述定义用到算 
法 (10.3.2) 中，并注意到关系式 ST 二 C - 1 " 和 x 二 Cz ， 则得到下 
面 算法： 

丨 =0. 

给定初始值枸 （ A ^ o〜M 
ro = d - Ajr 0 
while C ~ l r k ^0 

k 二 k + 1 (10.3*3) 

if 是二 1 

C/j i 二 C _ 1 r o 
else 

线 ： (c' /(c-VhVOtVhWctV:) 
c^ =「、_ 1 + aQv_i 

end 

a k = (C l r, /(C V, . A )/{ ) T ( C ' UC l )(Cp k ) 

Crjt = Cr A _ i + a k Cp k 

C - ] r , = C l r k - X - ak { C ^ AC - l ) C Pk 

end 

Cx — Or * 
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如果我们定义预处理矩阵 M = C 2 ( 也是正定的），且令 q 为方程 
Mz k ^ r k 的解，则算法 (10.3.3) 可简 写成： 

算法 10.3.1( 预处理共轭梯度法）给定对称正定矩阵 
' K nXn , beir 及对称正定的预处理矩阵 JVT ， 和初值 
则本算法可求出方程组 Ax = b 的解. f 

k -0 

r 0 ; 6 - Arp 
while (r k ^0) 

解万程 = r ^ 
k = k + l 

if k = l 

Pi '-=^ 

else 

— r l _ 之 k -2 

Pd\ + ^kPk-i 

end 

a k = r hi,pJ^Pk 

^k = ^k-l f Ctkpk 
r-k = r k - i ~ akAp k 

end 

工二丈 k 

关于这一算法，应注意到以下重要的 几点： 

•可以证明，残量和搜索方向满足； 

r/M _l r^ = 0 , i ^ j , (10.3.4) 

p]{C- l AC- l )p i = 0, i^j y (10.3.5) 

•分母 r ]；_ 2 q __ 2 = 不可能为零，因为 M 是正定 

的. 

* 虽然变换阵 C 在算法的导出上起了很重要的作用 T 但它只 
有通过预处理矩阵 JVf = C 2 起作用. 
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，为了使算法 10.3.1 在处理稀疏矩阵时有效，逢性方程组' 
Mz = r 必须容易求解，且收敛速度还要快. 

选择一个好的预处理矩阵对算法的收敛速度产生很大的影响.现 
讨论几种可能的选择. 

10.3.2 不完全 Cholesky 预处理阵 

最重要的预处理方式之1涉及计算4的不完全 Cholesky 分 
解.其思想是计算一下二角阵 H ， 它具有可利用的稀疏结构，且 
“接近于” Cholesky 芮子预处理矩阵则变为 M = HH T ■为说明 
这一选择的作用，先注意下列 事实： 

*存在惟一的对称正定阵 C , 使得 M= C 2 
* 存在正定阵0,使得 C = ，即是 C 的 QR 分解的上 
三角因子. 

由此 可知： 

A = C _1 AC 1 = C r AC~ l = (HQ T ) 

= Q(H 1 GG T H T )Q T ^ I. (10.3.6) 

因此， H 逼近 G 越好， I 的条件数越小，算法 10.3.1 运行效杲就 
更好. 

如何找到这样的 H ， 种简甲而 又有效的方法是在 Cholesby 
分解中，若％ = 0 ， 则令\ = 0 ， 若 Cholesby 分解采用外积形式，上 
述方法可如下实现 
for k = l：n 

A(k,k)-^V A(k t k) 
for i - k f 1 ： « 

if A(i t k)^0 (10.3.7) 

A(i r k) = A(i,k)/A(k,k) 


end 

end 


for ^ - A + 1 ： w 
f or 7 - j ： w 
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if A ( i , j )^0 

A ( i 7 j ) = A ( i . j )- A ( i , k ) A ( j f k ) 

end 

end 

end 

end 

在实际计算中，矩阵 4 和它的不完全 Cholesby 因子 H 町以 
存储在一个合适的数据结构中，上述算法中的循环将呈现特殊的 
形式. 

不幸的是， （ U ).3.7) 并不总是稳定的. Manteuffel ( 1979 ) 指出 
了不完全 Cholesky 分解稳定的正定阵的类型.也可参见 Elmem 
(1986). 

10.3.3 不完全的分块预处理矩阵 

和本书中所有其他的方法一样，上 小 节中不完全分解的思 
想也有块的类似形式.我们以对称正定的分块 H 对角阵为例来说 
明这 一点： 

'A x Ej 0 " - 

A = K i A 2 ■ 

- 0 E 2 A 3 - 

为了说明问题，我们假设 I 是三对角的 ，忍 为对角阵.二维区域 
上的自伴椭圆型偏微分方程用标准的五点格式离散化以后得到的 
就是这种结构的矩阵. 

3 x 3 的块是很普遍的.我们的讨论基于 Concus, Cbkib 和 
Meurant (1985) ■令 

G t 0 0 " 

G = F l G 2 0 
_ 0 F 2 

为 A 的 Cholesky 因子的分块形式.虽然 G 作为分块矩阵在整体 
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上是稀疏的，但除外每块都是稠密的.这可以从相应的 i 十算中 
看出： 

GiGj^ B l Ai 
F t = £ t G 1 

C, 2 Gj= B 2 ^A 2 - FiF} = A 2 -E } Bi l E'} f 

f 2 ^ e 2 g 2 \ 

G 3 Gj- B 3 = ^3 - F 2 F 2 r - A 3 - E 2 B 2 l Ej. 

因此，我们要才找近似的 C ； holesky 因子，其形式为 
「 G ! 0 Q 

G = F , G 2 0， 

-0 F 2 G 3 j 

从而，我们能够容易地求解系数矩阵为 M = GG t 的方程组.这 
里利用到了疗中块的稀疏性.当 < 是三对角阵，£ ; 为对角阵时, 
有下面一条合理的 途径： 

G { Gj ^ B , ^ A l , 

Fi= 紅而 1 ， 

G 2 Gj ^ B z ^ A 2 - (二 i 对角）々 5 V , 

f 2 = k 2 g 2 、 

G 3 Gj - B 3 = A 3 - £ 2 A 2 £ 2 r ， A 2 ( 三对角）々 B 2 l . 

注意，所有的 B ; 都是 5 对角的.显然，必须小心地选择 A ,, 使得 
B , 也是对称正定的.由此可得 g ； 为下双对角阵 . f 是满的，但 
不需要显式地计算出它的元素.比如，在解方程组 Mz ^ r 的过程 
中，我们必须解如下 方程： 


A 

0 

0 _ 

切 l 



Fi 

g 2 

0 

ZV2 

= 

r- z 

_ 0 

f 2 


- 


r^_ 


在计算涉及到关于尸，的矩^向量乘积时，可用向前消去法: 
G ! - r 卜 
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G 2 W2 = ^2 - F [ isj ] = r 2 ^ E i G i 1 IV 1 1 
G 3W3 = - F 2 U )2 - - E 2 O ^^ oz - 

为了保证的正定性，皋的选取是比较精细的.和我们所组织 
的计算一样，中心问题是如何用一个对称的二对角阵 A 来近似 m 
阶的对称正定的三对角阵 T = (%)的逆.这里有几条合理的途 
径： 

•令 A = diag ( 1 / i u ， 1 々 22 ， *■■ ，1 /“ n ) 

•取 A 为 r -1 的三对角部分，这可以很有效地计算出来，因 
为存在使得 r _1 的下三角部分正妤是的下 
三角部分.见 Asplund( 1959). 

•令 A = U T U ， U 为 G _1 的下双对角部分，其中 G 为 r 的 
Cholesky 分解因子，即 r 二 GG T . 这可用 O ( ) 个 flop 来 

完成. 

要讨论这些近似矩阵及相应的预处理矩阵之性质，可参见 
Concus ， Golut ) 和 Meurant ( 1985 ). 


10.3.4 区域分解思想 


椭圆型偏微分方程的数值求解在未知数适当排序时往往导致 
如下方 程组： 




A 2 


Bi 

B 



^r 




-r 2 


dz 


x p 


dp 

」 

-z 一 


L /」 


(10*3.8) 


A p b p 

[Bj Bj Bj Q 

见 M eu ram (1984), 这里牵是对称正定的， B ; 是稀疏的，最后 
块列的列数比其他的要少得多. 


一个/>=2的例子可说明 （10.3.8) 以及它的分块结构与原问 
题几何区域以及其分解之间的联系，假设在下面的区域上解 Pois ¬ 
son 方程： 
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m 通常的方法离散，个网格点上的未知 a 只与“东南西北” 
四点有义.这里有三种类型的 变量： -类是内部在 ji 面的 f 区域 
(户 向量& ，相应的网格点为“ — ”），另类是内部在下面的子区 
域 (. f 向量1 2 ，相应的网格点为 “. r ”）. 还有一类是这两类 fE 域 
的交界处（组成向量相应的 n 格点为“* ”）.注意，一个子区域 
的内部变量与另一子区域的内部变量无关，这说明了 （10.3.8) 中 
为什么会出现芩块.同样可以观察到，边界 I :的未知量的个数比整 
个未知量的数目要少得多. 

现在，我们来探索一下 （10.3.8) 的预处理情况.为简申起见， 
就 p = 2 的情形讨论.令 

Mf 1 0 0 1 Mi 0 ir 

M = L 0 M 2 l 0 其屮 L - 0 M 2 0 , 

- 0 OS 1 -! Bj S 

则 

Mi 0 if ： 

M - 0 M 2 B 2 . ( i 0'.3.9) 

Bj Bj S ,_ 

这里 + 现考虑如何选择抉参数 

M i 9 M 2 和 S , 使得产生一个有效的预处理矩阵. 
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如果把 （10.3.9) 和 （10.3.8 ) 在户= 2时的情形相比，我们可 
以看出，应该用 JVf , 逼近 U * 逼近 Q . 若令 

则后一点可以办到.选取 S 有好几种途径，但都要 
注意这样一个事实 ：不能 冇稠密的矩阵 BJMi Bj 产生，例如，在 
上一节讨论过，吋用 1 的气对角近似，见 M e umm (1989). 

如果子区域足够规则且解只与有关的方程是可行的话 
(如用快速 Poisson 解法），则可令二七，从而 M = 4 E ，其中 
rank (£) = m ,// i 为边界匕未知量的个数.因此从理论 h 讲，经过 
^ + 1步以后，预处理共轭梯度法将收敛 - 

不考虑算法过程中必须进行的逼近，我们有很好用并行计算 
的机会，因为 f 区域的问题是+相关 的实际 t ， 子区域的个数户 
通常与问题的几何特性以及可用来计算的处理器数 n 有关. 

10.3.5 多项式预处理矩阵 

由预条件矩阵 M 组成的方程组恤二 r 的解所定义的向量^ 
应当看作是 = r 的一近似解，因为 M 是4的 个近似 .获得这 
个近似解的-种方法是用公式财 1 ， + 1 ) = ~ 1 # ) 卜^， ) =0迭 
代 p 步. 

从 G = 可知 

z 二 z {p) = (J 十 G + …+ 

f 是，如果 M _1 = U + G 十… 1 则 JVfz ; r 而我们可 
认为 M 是一预条件子.当然，很重要的是 M 应当是对称正定的 T 
这限制了 和/ ) 的选取.因为 M 是 G 的多项式.故它称为 

多项式预条件子.这类预条件子从向量/并行的观点看有吸引力， 
因而引起了广泛的重视. 

10.3.6 另一个观点 

多项式预条件子的讨论指出了经典迭代 法与预 条件共轭梯度 
法的一个重要关系.很多迭代法具有形式： 
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Xk - xk-i + Yk z k i 十 A -1 — ^- 2 ) - (10.3.10) 

其中占- Arn , 例如，我们令叫 =1 和八二1，则 
x k = M' l {b — A . r k ..[) + , 

即 Mjc k = Nx k - l + 6, 其中 A 二 M - N . 于逛 ， J acobi , Gauss-Set del , 
SOK , SSOR 等方法都 H 有形式 （10.3.10), Chebyshev 半迭代方法 
(10.1.12) 也是如此. 

根据 Conois , Golub 和 O’Leary ( 1976 ) ，可 以利用形如 
(10.3.10) 的主要步来组织算法 10.3.1： 
x - 1 = 0; j 0 =初值；点=0;〜=6 _ 0 ■ 

while r k -A0 
k^k M 

解 - i=o 1 得 A -1 ■ 

7 k 1 - ^1 -1 - \ ^\ 1 - i 

if k ^\ 


XV{~\ 

else 

_ 1 1 _ X&-i z J-i^ z k-i 1 \ 

’ 1 h 叫 -lj 

end 


00.3 .nx 


0Ck = Xk 2 + ^k( 7k^k -i + ^k- i~ ^k- 2 ) 


r k = b ~ Ax k 


end 

因此，可以把 （10.3.11) 中的数和 nt 看成是加速迭代 M/ = 
/Vr i _1 + 6 收敛的加速参数.所以，任何建立在分裂 A 二 JW~-N 基 
础之上的迭代法都坷用共轭梯度法来加速，只要 M (预处理阵）是 
对称正定的. 


习 题 


10.3.1 详细讨论基于 gaxpy 的 Chohky ( 即算法 4.2. 1 ) 的不完全分 
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解算法. 

10.3.2 在算法 10.3.1 的实际运行中，氙要多少个《维向量的存储 
量？可忽略解方程 = r 所需 J . 作空间 ■ 
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§ 10.4 其他 Krylov 子空 间方法 

前两节介绍的共轭梯度法适用于对称正定方程组 .93.2 节 
中对称 Lanczos 方法的变化形式 MINRES 和 SYMMLQ 方法能处 
理对称非正定何题.为了得到可适用于非对称问题的迭代法，我们 
还要作进一步的推广. 

送里我们仿效 Freund , Golub 和 Nachtigal 的综述文章及 
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Golub 与 Grtcga ( 1 卯3 ) 第九章来进行论述，重点是涉及到 Krylov 
T 空间上优化的共轭梯度型算法. 

应该记住的是，我们的算法描述和软件产品之间有很大差距. 
关丁这一点， Rarrell 等人 （1993) 的“模板” 1 S 作了很好的描述. 
Saad (19%)的著作也是很值得推荐的. 

10-4.1 法方程方法 

解最小二乘 问题的 法方程力法是很冇吸引力的 ，因为 它可以 
利用简甲'的 Cholesky 分解技巧而无须复杂的正交化方法.间样， 
对非对称问题 Ar = 用巳有的共轭梯度法解等价的对称正定方 
程 

A t Ajt ^ A r b 

也是有诱惑力的.实际上，如果在算法 10.2.1 屮用 A r A 代替 A ， 
并注意到法方程中的残量 A t A A t Ax , 是 E 实残量6 的 

A 下倍，我们就可得到下面的共扼梯度法方程残量法 ( dNR ): 

算法10,4 ■ J [ a ； NR ] 若矩阵為€:^〜非奇异 ； 6 €. 7 ，邱 
为一初始值，则本算法可计算出方程1 = 6的解 ird : 
k = 0 

r 0 — b ~ A . z 0 
while r k ^0 
k = k > 1 

if = { 

P \ 

else 

Pk-A T r k . ] +^p k _ l 

end 

Q k - (A T r k j ) 1 (A T r A - ^/{A^ Y{Ap k ) 

^-k = ^k ! 丨 a k p k 
r k ~ r k ] - ^{Apk 
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end 


■r = x 太 

另 种 使非对称问题共轭梯度友好”的方式是解如下方 
稈： 

A A T ^v = b , :/ — A 1 y. 

在 ' V 空间”中，共轭梯度算法有如下 形式： 
k =0 

yo = 初始值 ( ^ ) 
r n - b ~ AA 1 yo 
while{ r k ^0) 
k = k W 

if 走 =1 

户 1= 厂0 

else 

3k= r I-l r k - l^^J-2^-2 
Pk^r k ] + 轉 k p k ' 

end 

a k — r J - V r k - Pk 

: vn i + ^kPk 

r k = r k-L~ a fA^ T pk 

end 

y = yi 

作变量替换 a ， a t 九—九，再作简化则得到法方程误差 
共轭梯度法，简称 CGNE . 

算法 10.4.2[ CGNK ] 若矩阵以“非奇异， 
eR n 为初始值，则本算法计算出 a：c = 6 的解 ire ^ rt : 

是=0 

广 0 = 6 - Ac 0 

wltile ( r ^ O ) 
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k = m 

a k = \ 

P \=^ T n > 

else 

^ k ~ r k \ r k \^ r l 2 r k 1 
Pk - A l r k ，+ li k p k . ! 

end 

工 k = ^ k -1 + a k p k 

r k = r k-i — & )APk 

end 

X~Xk 

一般的来讲，这两种法方程方法的困难在 f 矩:阵的条件数变成 r 
原矩阵的平方，（回忆 下定理 10.2.6) .然而，也有些情况他们是 
很有效的.这方面的赴述可见 Freund，Golub 和 Nachtigal( 1991 ). 

10,4,2 目标函数的注记 

基于我们关于共轭梯度法的知识， CGNR 迭代所产生的& 
使得函数 

^ 1 ( ^ ) = 2 _ a T A T b 

在集合 

Si° jNR) = J 0 + K(A T A ,r 0 ,^) 

上达到极小.容易证明 

士 || A - At: || 言 = A (_r) 4 ^h T h » 

所以 A 使得 残量在 Si a;NR> 上达到极小. “CGNR” 中的 K 表示对 
残量 （residual) 是最优的. 

另一方面 CGNK (隐含）迭代产生的％使函数 

二 yj rf (AA r )^ - y v b 
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在集合： VO + K ( AA t J } - AA T iVG,々） 上达到极小.作变量替换 
:r = A T ：y， 可证明 々使得 

金: r T :c - ： r T A x b = ^ || x - A ~ ] b |l ? + ^ II A _1 A || \ 

在集合 

S (CGNR) = ro + (10.4-1) 

匕达到最小.因此在 CGNE 方法中，每一步都使误差达到极小，这 
就是 “CGNE” 中 “E” 的含义. 


10.4.3 共轭残量法 


我们记得，当4是对称正定阵时，它有一对称正定的平方根 
见 4.2.10 节）.在这种情况下，方程 b 和= 
A 相互等价.前者是后者的法方程形式.如果我们对这个平 

方根方程用 CGNR 方法，并对结果作一下简化，则得如下 算法： 
算法 10*2,3 [共轭残量法] 如果 n 阶阵 A 对称正定，占 G 
]^，判€『为一初值（4利々6)，则本算法可得到 Ar = 6 的解： 

^ =0 

ro = 6 — Axo 
while r t 9^0 
k^k-i-1 
if k = 1 

Pi - r Q 

else 

0 k = / rj - 2 ^ r k-2 

^Pk - ^ r k 1 + PfAPk - i 

end 

狂 k 二 r I - i^ r k - 1 A Ap k ) T { Ap k } 

JCk ~ x k - { ^ a k p k 

n = r k -i~ aApk 


end 


. 635 - 


从对 CGNR 方法的评价中可得，在第&歩迭代 ， IU m { b - Aa :)\\ 2 
在集合 &+!£：(A ，4,>0上达到极小. 

10,4.4 GMRES 方法 

在 9.3.2 节中，#1对对称非正定问题 Ai 二我们简要讨论 
了基于 Lanczos 的 MINRES 方法 .在该算法中，第6步迭 代点七 
使得 || II 2 在集合 

S k - j : 0 ^ span{ …， V’ 1 1 二工 0 + K ( A , „ ^ ) 

(10.4.2) 

匕达到极小.算法的关键思想是，用 Ijnraos 向量 t ^， W "， 取来 
表示 A . 当 w 是初始残量 r D = 6 - Ajc 0 的倍数时， < ji ， …，如可生 
成 K ( A ， n )，々）. 

在 Saad 和 Schult/X 1986) 提出的广义最小残量 (GMRES) 方法 
中，采用了同一途径，不同之处在丁迭代点用 Amoldi 向量而不是 
Lanczos 向量來表示.其 S 的是为了能处理非对称矩阵 A.Arnokli 
迭代 (9.4.1) 经过6歩以汨，得到如下分解： 

AQ k - Q ,^ H k , ( tO .4.3) 

其中26 + ] 二[<^，以+ 1"1的列是正交单位的 Amoldi 向量， 

^11 h l2 … k lk \ 

^21 ^22 : 1 

H k - '■ ： 

^ k 1 k -\ h k ，k 

- ° hk+UL 

为 t: Hessenberg 矩阵.在 GMRES 方法 的第々 步，在约束条件巧 
二文0 + Q^k (yk &^ ) 之下，II办 - II2达到极小.若 w =〜/ 
II r 0 || 2 , 则 得到： 

II b - A(x 0 + Qky k ) II 2 = II r 0 — AQi^ k f| 2 

=II 厂 0 - Qk + l U 2 
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- ! l r Hkyk II2- 

因此， 災 是一个 Uh 1)X6 阶的最小二乘问题的解， GMRES 的迭 
代点为 a =別+ Qkyk * 

算法 10.4,4[GMRES] 如果 A ”非奇异， 

又"为初始向量 （Ax Q 〜6)，则本算法计算出 Ajc ^ b 的解： 

T{j — h ~ 

^10 ~ II r 0 II 2 

k=Q 

while(^, i, k > 0 ) 

办 = r k^k + i,k 

k — k ~^r \ 

r k =Mk 

for i = l ；^ 

n = r k ~ ^ikQi 


end 

^ + 1,^= II r k |J 2 

3 Ck-^i + Qkyk ，其中 II /MWi _ || 2 = min 

end 

工 =A 

容易 il 明 II & - Ax k II 2 = h + i^. 上 Hessenberg 阵的最小二问题 
能用 Givens 旋转有效求解.在实际计算中，只有当残量迖到我们 
所希望的范围时，才需要形成 

“无界的 GMRF:S” 的主要问题是 ：在第 6步迭代中，需 0(“） 
个 flop. 因此，与 Amoldi 方法一样，一个实际的 GMRES 方法运行 
起来需要采用重开始技巧，以避免过多的计算量和存储鼐.例如， 
若最多可容许计算 m 步，则: r m 可作为下一个 GMRES 序列的初 
始向量. 
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10.4.5 预条件 


预条件是使 GMKKS 方法有效的另一关键因素.与§ 10.3 中 
的预处理共轭梯度法类似，我们得到一非奇异矩阵 
它在某种意义下逼近矩阵 A . 然后对方稈= r 用 GMRES 
方法，其中 A b = Mi l b t 7 = M 2 i .如果我们对 

这个波浪方程写出相应的 GMKES 迭代算法，并整理方程使得只 
存储原始的变量.则所得到的迭代中需要解预条件子为 M 的线 
性方程组.所以，寻找一个好的预处理矩阵 M = MiM 2 就是在以 
M 为系数阵的方程容易求解的前提 F ， 使得尽 
量“象”单位阵. 

10 . 4.6 双共轭梯度法 


就像 Amoldi 方法推广出 GMRES 方法一样，非对称的 Unc- 
zds 算法可推广为双共轭梯度法 （BiCGO.BiCG 的出发点可追搠到 
9.3.1 节中由 Lanczos 算法导出共辆梯度法.利用 Lancaw 向量 
来，共轭梯度法的迭代点可表示为 j： k = x 0 + Qm ， 其中 Qjt 为 
Lanczos 向量矩阵，乃 = QjAQk 为三对角阵， W 为方程= 
Qjr 0 的解.注意关 系式： 

Qk(b - Ax k ) = Ajirfy - AQiy k ) = 0 . 

所以，我们可以通过要求而力集合❿+反0,0，幻的元素，以 
及它产生一个与子空间 K(A, mJ ) 正交的残量来刻画 

在矩阵为非对称的情形中，我们可以推广这一想 法:产 生序列 
+ 相应的残量与正交，外 

为中某个向量.如果用非对称 Lanczos 方法来产生两个 Krylov 
子空间的基底，则算法可得到简化.特别地，非对称 Lances 算法 
9.4.7 经过 k 步以后，得到 Q k , P k ^ R nX \ PjQ k ^h 和三对角阵 
n = P £4 仏，满足关系式： 

^Qk = Qk^k + rieJ,Pjr k = 0 ; 




A T /\ = P k Tj 4 = 0. (10.4.4) 

在 BiCG 中，令々 =_ r 0 + 0 咖，其中 = Qjy ^. 注意 ， Galerkin 

条件 Pj(b - Ax k ) = Pl ( r 0 - AQ ^) =◦ 成 tT - ■ 

像所期望的那样，可以找出从和办- i 计算出 A 的迭代 
公式，而不是用前面所有的9向量的线性组合. 

BiCG 方法受到“严重失败”的制约，因为它依赖于非对称 
方法.然而，采用向前看的 Unczos 方法，有可能克服这方 
面的一些困难. 

10.4.7 QMR 方法 

从非对称 Lanczos 方法导出的另一种迭代法是 Freund 和 
Nachtigal (1991) 提出的拟最小残量法 （ QMR ). 和 BiCG —样，第々 
步迭代同样具有形式而 = A + Qkyt - 易证， （9.4.7) 经过 A 步后有 
分解： 〜 

AQk = Qk^iT k , 

其中匕€：^ + 1)> ^是三对角的.由此可知，若 w = 心 0 )， 

则有 

b - Ax k - ^ - A (xq + Qi^ k ) - r 0 - AQ ^ 

=r 0 - 仏 +1 - Q k+ i(pei - T^) 

如果选择 ^ 使得这个向量的 II * II 2范数最小，则在榷确运算下， 
x o + Q 0k 正好是 GMRES 所产生的点.在 QMR 中 ，令％ 使得 
i ! ~ T II 2最小. 

10 *4*8 总结 

我们所介绍的方法并没有绝对的好坏之分.方法的选择是复 
杂的，它依赖于很多因素 . BarxeU 等人 （1993) 对主要的方法给出 
了特别有说服力的评价- 

习 题 

10,4,1 类似于 （10. 2, 15), 导出 0 GNR 算法、 CGNE 算法和共轭残量 
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法的有效运行方式 

10.4.2 建立 CGNK 算法与 9.3.4 节中概拈的算法的数学等价 
关系， 

10.4,3 证明 （ 10.4.3> 

10.4,4 导出预处玴 GMKE 算法的有效运行方式 ■ 参照 § 1 化 3 中预处 
理共轭梯度法的处理方式 . （特別注意幻和 （ 1H3)) 

10-4.5 证明 GMRKSM 小二乘问题满秩 - 
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C. C 」 Paige, B. N. Parlett, and H. A. van der Vor^t (1995) - “Approximate Sa.utkxis and 
Eigenvalue Bounds from Krylov Subspaces T ^ Num . Lin, Alg, unth Applic . 115 — 

133. 

M. Hcxlibruck and Ch. Lubich( 1996) * u On Krylov Subspace Approximations to the Matrix 
Elxpcmentiel Operator , SIAM J r Numer. AtuiI . t to appear. 

M.Hochbmck and Ch. Lubich( 19% ) r 41 Em>r Analysis of Krylov Method in a WutsheH t ^ 
SIAM J . Set + Cbmpu£. f to appear. 

关于长方阵 A 的伪逆与用于 A T A 的共轭梯度法之间的联系 可见： 

Mh Hestenes(I975). ^Pseudoinvetses and Conjugate Gradients, "CACM 18 ,40 — 43. 




第 十一章 矩阵函数 

§11.1 特征值方法 
§11.2 逼近法 
§11.3 矩阵指数 

在控制论和其他应用领域，经常出现自变量为一方阵4的函 
数 /( A ) 的计算问题.一般的说来，如果 / U ) 是定义在 A ( A ) 上的 
数值函数，则在 /( e ) 的表达式中以 A 代替得到 /( A )， 例如， 
若/(之）=(1 + 幻 /(I 一 ：），且 1 ^ A ( A )， 则 /( A ) = ( J + A ) U _ 
^)" 1 - 

当/为超越函数时,/(4)的计算是特别有兴趣的.在这种更 
为复杂的情形中 ，一 种方法是计算4的特征值分解 
并利用公式 / U ) = 若 B 比较简单，则 /( b ) 容易直 

接计算.在 §11.1 中，利用 Jordan 分解与 Schur 分解阐明了这一 
点.利用后一种分解，计算 /( A ) 的算法更稳定，这是不足力奇的. 

处理矩阵函数的另一类方法是用一个容易计算的函数 g 4 ) 
来逼近/(4).例如，尺可以是/的 Taylor 展开式的前若干项. 
§11.2 给出了这类逼近问题的误差界. 

最后一节，我们讨论了一个特殊的但非常重要的 问题: 计算矩 
阵指 数 〆 . 

预备知识 

本章假定已了解 r 第一 、二 、三、七和八章的知识.本章各节的 
关系 如下： 

§11.1 ^^ §11*2 ^- §11.3 

补充的参考文献有 ： Mirsky ( 1955 } f Gantmacher (1959 )， Bellman 
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(1969) 及 Horn 与 Johnson( 1991 ) , 对本章非常重要的 Ma1:kb 函数 
有： expm, expml , expm2, empm3, k^gm, sqrtm 和 funm. 


§11.1 特征值方法 

给定一 „ 阶阵 4 和一标量函数 /U). 有好几种方法定义矩 
阵 /(A). —种很不正式的定义是在 /U) 的表达式中用 A 代替 

例如，若 / = l + z 及 r ( z )=( l -量) (1 + 量)则 
自然地定义 p ( A ) 和 如下： 

p(A) = I + A 
和 

r( 力 ）= (; - 音 ） |i + ~ J, 2 ^X(A). 

用 A 代替心也可用于超越函数 ，如： 

Cju r 

e -合々 ！. 

然而，为了使以后的算法更精确，我们需要 /(A) 的更精确的定 
义. 

li.i.i — 个定义 

有许多种方法来严格地建立、矩阵函数的概念，见 Rinehart 
(1955) .最完美的方法也许是利用-积分.假设 /“） 在一个闭曲 
线厂的内部解析，且 r 包围了 A(4) .我们定义 /(A) 如下： 

f(A) = 2^j^ r f(z)(zl - A)"" 1 d^. (11.1.1) 

显然，这一定义是 Cauchy 积分定理的矩阵形式， Jh 面的积分是一 
个元素一个元素定 义的： 

f{A) ^ (f kj )-^f kj = - A)~ l e } dz. 

注意，矩阵 UJ -AK 1 的元素在厂上解析，并且只要 /( 幻在 
A(A ) 的一个临域内解析, /(A) 就有定义. 
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11.1.2 Jordan 特征 


定义 （11.1.1) 虽然在计算上用处不大，但它可用来导出 /( A ) 
更多的实际特性.例如，若 /(A ) 有定义，且 

A - ABX -1 = X diagtB! ， … ，仏）厂 1 ， t C n ' >n < 
则易证 

/( A ) = Xf(B)X~ l - X diag(f(B l )r-,f(B p ))X 

( 11 . 1 . 2 ) 

当 B , ■为 Jonkri 块时，我们可得如下 结果. 

定理 11.1.1 设 X …，心）为 

的 Jordan 标准型 (JCF) ， 其中 



为叫阶 Jordan 块.如果 /X z ) 在包含 A ( A ) 的一个开集上鮮析，则 
f { A ) = X diagi / U , ) ，…， /(心 ） )叉 _ 1 ， 其中 

「 严厂 )1 

/ ⑻， " ⑻ … J^rfr 

fU t ) = 瓜） - 

广) a ) 

_ /u) _ 

迎 明根据定理之前的叙述，只要观察 /( g ) 的形式就够了， 
其中 G - AI + E(£ - ($v - i )) 为9阶 Jordan 块■假设 （d _ G ) 非 
奇.因为 

UJ - G )-】 =§ (二，+” 

由 Cauchy 积分定理可知 
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/(G)= $}^r(/%^ dz ] Ek 

兵 一0 尺， 

注意到#=(表， ; 4)即知定理成立， □ 

推论 11.1.2 如果 AeC nX 'A sAMiagUi ， … ， Ajx ： -1 ， 
以及 /(4) 有定义，则 

/(A) = XdiagC/CAtJ.-s/CAj )^- 1 
证明所有的约当块都是1乘1的。 □ 

这些结果表明了 /(>1)与4的特征系统之间的紧密联系.不 
幸的是，除非4能被一个良态的特征向量矩阵对角化，用 Tordan 
标准型处理矩阵函数在计算上是不可靠的.事实上，因为必须解系 
数阵为 X 的线性方程组，量级为 ii ^ U ) 的舍人误差被坏计算结 
果是预料之中的.下面的例子说明计算矩阵函数对应避免坏条件 
的相似变换. 

例 11.1.1 如果 

M 1 + 105 1 1， 

则任一特征向量矩阵都是 

X 二「 _ 1 5 1 

lo (21-itr 5 )」 

的列加权，故其 2 范数条件数量级为 10 5 , 利用机器精度为 u 〜 
10_ 7 的计算机运算，我们有 


而 


2.718307 2.750000' 
0.000000 2.718254- 


2.718307 20750000 - 
0.000000 2.718254- 
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11.1.3 利用 Shur 分解的方法 


利用 Shur 分解处理矩阵函数可避免用约当型所带来的一些 
困难.如果 A = A 的 Shur 分解，则 

f ( A ) = Qf ( T ) Q H 

为了使其有效，我们需要一个计算 t 三角阵垂数的算法.不幸，正 
如以下定理所示， /(T) 的显式表达是非常复杂的. 

定理 11,1.3 设 T =( 心） 是 n y n 上三角阵，特征值 A , ; 
4■，且 /( D 有定义.如果 /( T ) 二（4)，则当 i>j 时為=0,当 
■时 A =/ U 丄而且当 X )时， 

fij ^ S WvV ‘. £ j h ， s /[ A V …’\]， 

其中 巧为 所有以开头，以 J 结尾的严格单调逆增序列组成的集 
合， /[<» …，\]是/在\ I 的6阶差商’ 

证明见 Descloux{ 1963),Davis{ 1973) 和 Van Loan( 1975). 

□ 


用定理 11.1.3 计算 /(T) 需 0(21 个 flop. 可幸的是,, Parlett 
(1974) 导出了一个计算矩阵 F = /(T) 严格上三角部分的完美的 
递推公式,它仅需2^/3个 flop， 而且可从如下可交换结果 

FT = TF (11.1*3) 


导出.事实上，比较此方程两边的元可知： 


: XI tikf kj » 


> 


因此，若 〜，有 
fij = 


f,i - fa 
hj _ tu 




tikfh - ftk^h 
1 ji - 


(11. t .4) 


从此可知,厶是它在矩阵 F 中，左边和下边的邻近元素的线性组 
合.例如，元素/ 25 依赖于 ， / 23 * / 2 4, / 55 ， /45 ， / 35 的值.因此 ， F 
的整个上三角部分都可以算出.从对角元 /( Gl ) ，…，/(。）开始， 
每一次能计算出上一条对角线.整个算法如下- 


• 648 • 



算法 li . i.i 本算法计算出矩阵函数 /( r ), 其中 ： r 为 

上三角阵且特征值互不相同 ./ 在 A (: T ) 上有定义， 
for i = \'n 
fii - f( T a) 

end 

for p = l'n~\ 
for i = \'n ~ p 
J = i^P 

S - _ fti) 

for ^ = i + 1 ： j - 1 

5 _ S + t ikf kj - 

end 

fij =£/( t J} - 

end 


end 

本算法需要 2« 3 /3 个 flop ■假设的 Schrn 分解，则 
/(A) = (2F0 H ， 其中 F = /(r), 显然，计算/(4)的大多数工作量 
都花在 Schur 分解上，除非函数/的计算代价极其昂贵 . 

例 11.1.2 如果 


"1 2 3 _ 

T - 0 3 4 , 

^0 0 5- 

f ( z )^(\ + z )/ z ,^} F=(u = /( r ) 的定义 如下： 

f n = a + l)/l = 2 , 

/^^( t +3)73 = 4/3, 

/ 33 -0 +5)/5 = 6/5 , 
f 12 = ’12(/22 _ 11 )’( [22 _ f 1 】 ） 二 _ 2/3, 
f 23 ~ f 23(/33 - f 22 ) ’( hi _ ,22) ; ~ 4/15， 

/ l 3 = [, 13 (/ 33 _ / ll ) + ( h 2 / 23 —/ l 2 £ 33 ) J /( 艺 33 -， ll )= — 1 々 5 . 
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11.1.4 分块 Schur 阵方法 

如果矩阵4有邻近的重特征值,则算法 11.1.1 效果很差.在 
此情形下，可推荐用算法 11.1.1 的分块形式.我们大致介绍一下 
归功于 Parlett ( 1974 a ) 的这样一个算法.第一步是在 Schur 分解 
中，选择一个恰当的 a ， 使得 a 的相近或相同的恃征值集中在 r 
的对角块 r u ，…， r # 中.确切地，我们必须要计算一种分划： 



~ T n T n - TV 


下, 

^12 … F lp ~ 

T = 

T22 … T 2f> 

,F = 


^22 … F 2 p 


- Tpp - 



F PP- 


其中义（7；)11义（7^) = 0\/关1用§7.6中的方法可以决定块的 
大小. 

下一步是计算子矩阵 i ^ = /( r lV )，i = i :， 既然的特征值 
很接近，这些/(~)的计算需要特殊的方法(在以下两节中，我们 
将讨论几种方法）.一旦只的对角块已知了， f 的严格上三角块也 
可递推算出，就像所有的块都是数一样.比较 FT = TF 中 i <_ /的 
块，可得 （11.1.4) 的如下推广，它是确定递推关系的 方程： 

- H F { i F i} + ^ ( T 義- F ^). 

Jt- 

(11-1.5) 

如果每次要算出 F 的上一条的块对角元，则这是一个右边已知， 
未知数为块 F ,；； 之元素的线性方程组，它可以用 BartekStewart 算 
法(算法 7.6.2) 来求解. 

在矩阵 A 和函数/都是实数时，这儿介绍的计算 /( A ) 的分 
块 Schvnr 阵方法是很有用的.在计算了实 Schur 分解 A = QTQ t 
后，可用上面的分块算 法沿考 T 的块对角元来处理这些2乘2块 
的计算问题. ' 
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习 通 

11.1.1 利用定义（11.1.1)证明：（&)4/(4)=/(4)4, （ b > 当 A 是 t 
三角阵时， /(/ O 也是上三角阵， （ c ) 当4是 Hermite 矩阵时, /( A ) 也是 Her - 
mite 矩阵， 

11.1.2 改写算法 11. 1.1，使得 /( T ) 一列一列来汁算. 

11.1.3 设 AcXdkgUJX -1 ， 其中丨二!；々，…， A ] 和 X l =[ y l7 
…， ％] H .证明 ：如果 /( A ) 有定义，则 


/⑷= 2/(心)工义. 


11.1.4 证明： 


r]1 Tl f=>/(D 


t 22 J 9 


■Fn 
- 0 
P 


F 12jP 

Q 


P Q p q 

F„ -/( T„ ), F22 = /( /( T)JJC 

本节注释与参考文献 


本文中 /(A ) 的线积分表示由于其一鲅性在泛函分析中很有用，见 
N. Dunford and J-Scbwartx(1958), Linear Operators T Part I r [nterscience t New York. 

正如我们所说，也可用 /<A) 的其他定义 + 但是，在实际中通常出现的矩阵函数，所 
有这些定义郝是等价的 . 见： 

R. F. Rinehart {1955). “The Equivalence of Definitions of a Metric Function ， H Af?wr. 
Math . Monthy 62 ， 395 — 414. 

关于 JoKfan 表示的各个方面详见 

J, S T Frame ( 1964 ) r M Matrix Functions and Applications, Part ll f * IEEE Spectrum 1 
(ApnV ),102—108. 

/, S, Fra?ne (1964) r ^MatrLx: Futictions and Applications , Part 11^" IEEE Spectrum 1 
(June) ^ 123 一 131, 

下面的文献涉及 Schur 分解与 f(A ) 的 联系： 

D. Davisf 1973). “Explict FunctlonaJ Calculus”Lm ■ Atg. and Us Applic. 6 r 193 — 199, 
JrDescloux(1963)■ w Bounds for the Spectral Norm of Functions of Matrices" Numer, 

C.F. Van Loan(1975), Study of the Matrix Exponential s Numerical Analysis Report 
No. 10 .Dept, of Maths. University of Manchester s England 
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算法 ii . i 及其用丁有邻近的或 m 特扯值的各种各样的计箅 囚难可 见下列文献的 
讨论： 

N. Pariei.t( 1976 ) 」 **A Kecurrence Among the Klemcnta of Functions of Triangular Mairi- 
ces ，"Lin .Alg.aud It^ Apptic. 14 A 17—121 」 

如果 A 可简化成块对角形式 (7 A，3 节）， Jordan 力法与 Schur 方 法可达成妥协，见 
Kagstrom( 1977). <+ Numericat Computation of Matrix Functiorus，"Department of Infor- 
rnation Processing Report UMINF-58.77.Uriiv^r^ty of Omeft T Sweden. 

关于矩阵函数对扰动的敏感性的时论可见 

C. Sl Kermey and A. J. Laub( 1 明 9) ■ Condition Estimates for Matrix Functions SIAM J ， 
Matrix Amil , Appl , 10 ^191 — 209. 

C. S. Kenney and A, J, Laub( J994), "Sbiall-Sample StalisLical Cutidiliaii for Gen¬ 

eral Matrix Functions p 7P SLAJVf J - Set - Comp 15,36~61 — 

本章的一个主题是，若 A 非爪规，则计算 /( A ) 远不仅是在; 1( A ) h . 计算/( = )，伪 
特征值是理解该现象的一种友法，见 

L.N. Trcfcthcn( 19Q2). ^ Pseiidospectra of Malnces , ^ in Numerical ATialysis 1991 t D- F- 
GriffitKs and G. A. Watson( cds) N Longman Scientific &. Technical ， Harlow ， Essex ， UK. 
在 U.3.4 货将有更详细的讨论. 


§11.2 逼近法 


本节，我们讨论一类初看起来不涉及特征值的计算矩阵函数 
的方法.这类方法的基本思想是，如果 gU) 在 AU) h 退近 /U) ， 
则 MA ) 逼近 / U)， 例如： 




^ I + A + 



f ?+ …+$ 


首先我们用矩阵函数的 Jordan 和 Schur 表示形式来估计 


II /(A )- g(A) || 的界.之后再讨论一下矩阵多项式的计算. 


11.2*1 Jordan 分析 

矩阵函数的 Jordan 表示（定理 11. 1 . 1 ) 可用来估计 g(A) 逼 
近 /(A) 的误差. 

定理 11.2.1 设 4 €C" X " 的 Jordan 标准形为 
X~ l AX = diagCJ! t , 
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其中 


又 I 

a 


o 


为 m , 阶 Jardan 块.如果 /(z ) 和 g ( 2 ：) 在包含 A (A ) 的一斤 集上解 
析’则 

\\ f ( A )- g ( A )\\ 2 ^ K 2 ( X ) nm 叫 


证明令 AU ) = / U )- g U ), 有 

II f ( A ) - g ( A ) || 2 = || XdiagUd ) ，…， / i ( 心 )) X _ 

< k 2 (x) max || h ( Ji ) Jj 2 

应用定理 11-1.1 和等式 (2.3.8)，> G # 

v ,, ^ I h {r) (h) I 

WhU^W^m^^^ 一 ^, 

由此可知定理成立. 

11.2.2 Schur 分析 


如果不用 Jordan 分解而用 Schur 分解，则可得另一个误差界 
的估计. 

定理 11.2.2 设矗€0«〜的 Schur 分解为 Q n AQ = T = 
(liagUJ + N ， 其 t N 为 r 的严格上三角部分.如果 / U ) 和及 U ) 
在一个内部包含 A(A) 的闭凸集 D 上解析，则 

r = 0 厂 ■ 

其中 S r ^^\/ r } ( z )- g ^\ z )\. 

证明令 AU )=/ U )- 片 U)，H = U ") = AU ) ■记 s\f 为 
所有满足 S 0 = hs r = j 的严袼递增整数序列 U , 小…，组成的 

集合.注意到5, > =^^/ ) ，从定理11.1.3可知，对所有的 i < j ， 有 
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既然是凸的解析，町得 

I 占[\,…， \1|< 普 = 吾‘ （11.2.1) 

而且，若记 | N| r = U :/)), r > l ， 则 可证： 

fO j < / 十 r, 

y' ‘ I ' ， … w‘. 打 '-I .、 丨 ， j ^ ^ + r 


,(「） 


(11.2-2) 

在 ~ 的表达式中两边取绝对值，然后利用 （1L2.1) 和 （n.2.2)， 
可知定理成立. □ 

上而的定理表明.仅仅在4的谱 A(A) 上逼近/(4)是不够 
的.特别地，如果 A 的特征矩阵是病态的或者它同正规阵的分离 
度很大，则 /O) 与 g(A) 的差可能会比 l/U) -gU)i 在 A(4) 
上的最大值大的多.因此，虽然逼近方法可以避免特征值的计算， 
但它受到特征值性态结构的影响.这一点我们下一节将继续讨论. 
例 11.2.1 假设 

"- 0.01 1 11 
A - 0 0 1 | ， 

- 0 0 0.01」 

若 / U )= e s ， gU ) = l 十 Z + 之 2 /2,则都有 || f ( A )- g ( A ) II ^ 
1(T 5 , 因为 《 2 (X) 〜 1(T\ 用定理 11.2.1 估计的误差为0〔1),比 
较保守.另一方面，用 Schur 分解估计的误差为 0(UT 2 >. 

11.2.3 Taylor 逼近 

一种逼近矩阵函数（例如 ) 的常用方法是用 Taylor 级数 .一 
个矩阵函数 /(A) 存在 Taylor 级数展开的条件是很容易找到的. 
定理 11.2,3 如果 /U) 在包含 A (A) 的一开因盘上有 Tay- 
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lor 级数 展开 : 


则 


/“） = S c 〆 ， 


f(A) ^ S c fA k ^ 

证明 我们对 A 是可对角化的情形来证明 定理. 在题 
11.2.1 中 ，给出提示说明无此假设如何处理.设叉 _1 尤【二 D = 
diagQi ，-■■， A n ) ，应用推论 11.1. 2有 

f(A)= X disg(f(k L ) ， f(^),-,f(U)X - 1 


=X diag( 

\ > = 0 ㈣ 


二 x('£c k D k )x~ l 

= Y^c k (XDX- l ) k = □ 

卜 0 k 二 0 

几个重要的超越矩阵函数有特别简单的级数展开： 

log( 1 - A) = I A I < 1, A G A (A }, 

i-i n 


A zi:+l 

sin ⑷ =& 1 ” (2k + l)! ’ 
cos(A) = 2 (2k)\' 

下面的定理给出了用截断的 Taylor 级数来逼近矩阵函数的误差 
界. 

定理 11.2.4 如果 /U) 在包含 A(A ) 的开闽盘上有 Taylor 
展开： 

/ U ) = 


则有以下估计 
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/( A )- S^i < 


n 


㈠ 1^2 

证明定义矩阵如下： 


(Af 1 /^ 十 DU^ii 」 


f(As) 二 ^(As)^ + E(s) ,0 ^ 5^1. (11.2.3) 

k - i ) 

若以来表示 /( As) 的 G_，j) 元，则它肯定足解析的，所以有 

(其⑴ .2.4) 

其中 0€e y <s<l. 

在 （11.2.3) 和 （11.2.4) 中比较 .s 的幂，可知矩阵 E〔s) 的 
G',_y) 元具有如下 形式： 

/;;+"(0 


〜 （ 5 ) 


(q \ D! 




现知，々 _1 七）为阵 W + 1 / 〜 + 1 )(山）的 （ q ) 元，因此 

II A^^f^iAs) || 
(q + D! 

应用 (2.3.8) 式，即得定理结论， 


I 〜 0 )!<忍浩 f^rryy^ 


，则 


-49 24 

-64 31 

[- 0.735795 0.0551819 
L - 1.471518 1.103638 

当 g = 59 时，定理 11.2.4 得到误差界为 


例 11.2.2 若 A 

「 


-S 劄 

然而，当时，发现 




II A 計 1 A II 2 CIO— ⑷ 






r - 22.25880 - 1.43227661 

i L - 61.49931 - 3.474280 J 

问题出在部分和中的有些项出现了很大的元素.例如，在 J 十 
A + … + A n /17! 中，有的元素竟达到 （ K 10 7 )， 然而机器精度只 
有10_ 7 ,所以舍 A 误差比解的范数要大的多. 

例 11.2.2 说明了用截断的 Taylor 级数来逼近矩阵函数的一 
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个缺点是只有在原点附近它才有意义，有时候，通过变换可克服 
这一点，例如,重复应用倍角 公式： 

cos(2A) = 2cos 2 (A) - i, siri(2A) = 2sin(A )cos(A), 

可用适当的截断 Taylor 级数的逼近“组裝”矩阵的正弦值与余弦 
值： 

S n — 的 Taylor 過近 

Co 二 cos( A /2。的 丁 aylor 逼近 
for j ^ I ^ k 

Sj = 2S J _ l C y _ 1 
Cj = 2C }-： - I 
end 

这里 6 是一个适当选取的正整数，比如 A If co = 2气参阅 Serkin 
和 Blalock(1979). 

11.2.4 计算矩阵多项式 

因为在超越矩阵函数的逼近中经常涉及计算多项式 ，、所 以有 
必要详细讨论多 项式： 

p ( A ) = 6 0 J+ + …+ b〆 

的计算问题，其中~，…，~为已知的实数.最明显的办法是用 
Homer 的技巧. 

算法 11.2.1 给定一矩阵 A 和向量 6(0: e )， 则本算法计算 
多项式： F =~^ + … + &A =办 0 7 

F = 6^A + b q - x l 
for ^ = ^- 2：-1：0 

F ^ AF + b k I 


end 


该算法需要 1 次矩阵乘法.然而，和数的情形不一枓 ^ ^；p 
和过程并不是最好的.为什么呢？以 g = 9为例来说明.注意到： 
p(A) =A 3 (A 3 (b 9 A 3 + (b s A 2 + b 7 A 4- b 6 l)) 
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f (b 5 A 2 + h A A + b 3 T)) + b 2 A 2 4 - b x A + b 0 I. 

因此，只用四次矩阵乘法就可算出 F = p(A )： 

A 2 = A 2 

- A ^ A 2 

F ， 二 + 办 8^2 + byA + b^I 

F 2 r A 3 F { + b 5 A 2 + b 4 A + b^l 
Fq = A3F2 ^ ^2^2 + &jA + b^l 
一般的来说，若 s 满足的任一整数，则 

7 

p(A) = = flooK ^ A ), (11.2.5) 

其中 

rt f ^ +J _i4 ,T_1 + *'• + f b^I , k = 0 : r - 1, 

k + ." + 6 iV+1 A 十 b^l ， k ~ r. 

一旦 A 2 , … ，土算出，1^>]^!^规则可用到（11.2.5)式. 所以， 
/)( A ) 的结果可以只有 s + r - \ 次矩阵乘法得到.当 sMIooKG ) 
时，矩阵乘法的数目大致最少. Paterson 和 Stockmeyer ( 1973 ) 讨论 
了这一技巧 .Van Loan (1978) 提出 f 不用存储 A 2 , …，#就能使 
这一算法运行的技巧. 

11.2.5 计算矩阵的幂 

一个矩阵的幂的问题值得特別注意.假设要计算 A 法意到 
A 4 = ( A 2 ) 2 , A R = U 4 ) 2 ， A 13 = A K _ A \ A ， 只需5次矩阵乘法就 
可完成这一运算.对一般情况，算法 如下： 

算法 lh 2. 2 (二 进制求幂法）给定矩陣4 和正整数 

:;，本算法计算奉 F = 4 s - 

t 

设 U 爲 2 4 为 s 的二次幂的展开，菸尹 0 

k = 0 

Z- A\q = 0 

while ft = 0 
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end 


Z^Z 2 iq ^q + l 


F = Z 

for k = q 十 V t 
Z = Z 2 
if ㈣ 
F^FZ 


end 


end 

这一算法最多需要 2floor[tog 2 U)] 次矩阵乘法.若 5 是 2 的幂，则 
只需 logzG) 次矩阵乘法. 

11,2.6 矩阵函数的积分 

我们以矩阵函数积分的几点注记来结束本节.假设 /(A0 对 
所有的有定义，我们希望计算. 

F = [ f( At )dt. 

和 （lhl.l) —样，上式是对每一元素逐个积分. 

一般的求积法则对 P 也是适用的.例如，应用 Simpson 公式， 
有 

jr ^ jr = J vukf{A{a + hk)) f (11.2.6) 

。 fe-0 

其中 /W 为偶数， A — { h - a ) /m , zv k 的值如下： 
f 1 1 k = 0,m r 

w k = ^ 为奇数， 

(2， Jk 为偶数， Jk 关 0,m, 

如果以 4 /办 4 )/(对）=/ <4 )(打）在上连续，且 / d) 在 
同一区间上有定义，则可证： 

F = F + E , 

其中 
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il E \\ 2 < nkA \tn a) max II / 4 ) ( At ) || 2 . (H.2.7) 

用/纟和 ~ 分别表示 F 和 J ? 的 （ i _ ,j ) Ai . 在 1： 述假设下，应用 Simp - 
son 公式的标准误差界可得 ： 

因为 || i ? ~ I 且 

max I I ^ max || |[ 2 

所以 （11.2. 成立，当然，在 （11.2 的实际应用中，函数 f { A{a 
+祕 ）） 一般要用逼近的方法来估计.因此，整体误差包括逼近 
/( AU + M )) 所带来的误差和 Simpson 公式本身所具有的误差. 

习 题 

11.2.1 U) 设 G = U i - 是户乘/> Jorckii 块，其屮 £1=(^」）， 证明： 
( XI - f - E ) k = 2 

j==t> ' 

(b) 利用 <a) 和定理 11.1.1 证明定理 11.2.3. 

11.2.2 证明 （11.2.2) 

11.2.3 证明：若 || A \\ 2 < l,m logU + A) 有定义，且不等式 j| lcg(J + 
A) II 2^ \\ A \\ 2 / (1 ~ j| A H 2) 成立. 

11-2.4 已知 4 是阶对称正 定阵： U) 证明存在惟一的对称正定阵 
X，使得 A = X 2 ，（b) 证 明：若 X 0 = J -且 则 X k — 

#，这里平方根表示 U) 中的 X. 

11 . 2.5 对矩阵 A 是对称和上三角两种情况改写算法 11.2.1, 并给出 
相应的 flop 数」 

11.2.6 证明： X(r) := Cico^t ■/!) 十 C 2 /X'sinG V^) 是初值问题 
- AX(t),X(0) = C： lT X(0)=C 2 的解.这里假定 A 是对称正定的. 

11.2. 7利用定理 112. 4 .给出 下列逼近的误 差界： 

sin ⑷ = 名 ㈠ 户 d ^ TT ，™ ⑷ ^ 

11 * 2.8 设作奇异，"给定.下列迭代： 

- X k { 21 - AX k ) 
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是函数 /Cr) = « - (1/r) 的 Newton 法的矩阵形式 . 应用 SVD 分析这一迭 

代 . 它收敛到吗？〖寸论初值 Xo 的选取， 
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§11.3 矩阵指数 


经常要计算的矩阵函数之-是 指数： 

_ A H . 

计算它的算 法已奋 许多，但正如 Mder 和 Van Loan( 1978) 的综述 
文章所指出的那样，它们中大多数都是不可靠的，为了说明计算的 
困难所在，我们在 Fade 逼近的基础上提出一种“加权弓平方”的方 
法-然后，又给出了此方法的简要分析.这甩涉 及到了 /的一些扰 
动理论.在非正规阵的情形，我们指出 f 特征分析的缺点. 


11.3.1 Pad 纟 逼近法 


按照 §n.2 讨论的结果，若则为达到 
这一目的，有一类非常有用的逼近函数 ——Pa 也 函数： 

Rp ,( z ) - D ~( 之”〜 U ), 

其中 

NfxlU) - h (P + q)\kUp - k)\ Z * 


D m {z) = 

k =0 


(/? + <?- 々 ） ! q ! 

(P 十 q)\k\{q - ^ ! 


(_ J - 


注意， = l + … + /// J ! 是々阶 Taylor 多项式. 

不幸的是， Fade 逼近仅在原点附近才有效.下面的等式说明 
f 这 一点： 


^ =心 (A) + %ur jy (1 - 

⑴ .3.1) 

然面，利用事实 e 4 = (# /m ) m 可以来克服这一困难.特别地，我们 
可以把4除以 m， 使得^二尺^以/^^是^〜比较精确的逼 
近.然后用算法 11.2.2 计算如果 m 是2的幂，则这相当于重 
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复地平方，因而非常有效.整个算法的好坏取决于逼近: 


心： (〜( 会 )) 2 

的精度 .Mder 和 Van Loan ( 1978) 证明 了:若 ,则存在 
矩阵"使 得： 

F 扣 =， E ， 

AE = EA ， 

II £ II ™ ^ e(p t^) IJ A || co, 


e ( p f q ) = 2 3 _( 内) 




C/> + g)!(/> + ^ + l)!' 


这些结果形成 r 有效计算 e A 且拉制误差的方法之基础，利用上面 


的公式，易证不等式 

IU f| 

参数 P . q 可以根据所要求的相对误差来确定.注意，既然大约 
需要次矩阵乘法，所以最好令 /> = g ， 因为这对给定 
的工作量，使最小.把这些思想结合起来，就得到下面的 
算法 

算法 11.3.1 给定矩阵凫 6 况"“和正数沒 >0, 本箅法计算 
出矩阵 F = / +£ ，其中 || £ !| II A || 
j ~ max(0，l + floor(log 2 ( il A || „))) 

A = A/2 j 


令 qf 为满足 e(g , 的最小的非负整数 

D = /;N=/ ；X=/；c = l 
for k—l ： g 

C = c(q - k + l)/[ (2q - ^ + 1 )^] 

X= AX； N=N + cX;D-D + (- 1)VX 


end 

用 Gauss 消去法从 Z ) F = N 解出 Ji \ 


for k - 1 ： j 

F = F 2 


end 

这算法需要大约 2( q+j + l /3)« 3 个 flop . w ar d ( 1977) 彻底分 
析了它的舍人误差性质. 

§ 11.2 中特殊的 Homer 技巧可用来加快 D = D w ( A)*iV 
= ； V W U ) 的计算.例如，若 g =8, 则有 / V W ( A )=[； 十 AV ， D W = 
U - AV ， 其中 

U - cqI + C 2 A 1 I (t'4 / + c^A 2 + cgA 4 )A 4 , 

V = Cl / 4 c 3 A 2 (£. 5 / + c 7 A 2 )A\ 

显然，只用5次矩阵乘法就可算出 iV 和 D ， 但算法 11.3.1 却需要 
7 次. 


11.3.2 扰动理论 


有舍人误差时算法 11.3.1 是否稳定呢？回答这一问题需要 
了解矩阵指数对矩阵 A 扰动的敏感度.讨论的出发点是初值问 
题： 

X(t) = AX(t), X{0) = /, 

其中，它有惟 1 解 XU ) = e A 、矩阵指数的此特 
征 对用来 推导恒 等式： 

e _ ，一， = p c A (, 

Jo 


利用上式可得= 

II II 2 ^ II £ II 2 p II A(f-0 j| II _(a+e)5 II 

^ re ^ i ^ < ^ r r 2 Jo l,e IMe 11 ▲ 

如果我们估计出被积函数中指数范数的界，则结果可进一步简化- 
这样做的一条途径是利用 Schur 分解.若 fUG^diagCO + iV 
是“的 Schur 分解，则 可证： 

|| || 2 <e flU ) 叫⑴， (11-3*2) 

其中 
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a{A) = maxi RcA : X G A(A ) i ? (11.3,3) 

， r , , II NH k 2 

Ms ( f ) — ^ j 

数 〆 4) 称为谱的横坐标.简单的运算 可知： 

11 e<A 广 11 H £ II 2 M s U) 2 ex pUiVisU) II E || 2 ). 

II ^ [| 2 

注意， K /) 三1当且仅当4是正规的.这表明4是正规阵时，矩 
阵指数，是“良态的”.这 - 点被它的条件数所证实.矩阵指数的 
条件数定义如下： 


>^(A t t ) 




i |( V “ ^Ec^ds 


II A fl 2 

II || 2 


Van IjDan (1972) 讨论了诙数值衡量映射 ： 4 的敏感度.对给 

定的 h 存在矩阵 I ?使得 


II e( 


A +£)^ 


e " II 2 


一)概. 


Ile1 2 

因此，如果很大，则4中很小的变化会导致中相对很 


大的变化.不幸的是，很难精确地刻_使 y (4， z ) 很大的矩阵4 
(这和线性方程组 Ar = 6相反，那里病态的矩阵可用奇异组分解 


SVD 来简洁地描述）.然而，有一点可以肯定的是 
t \\ A \\ 2 ,等号对所有的 z 成立当且仅当 A 是正规阵. 

多注意一下非正规性的影响，就可从 §11.2 中知道逼近 
所涉及的不仅仅是在 A (4) 上逼近另外一条线索是特征值不 
能得出问题的全部性态，这与谱的横坐标 （113.3) 不能预测时 
间函数 II /I 2 的大小是相关的.如果4是正规阵，则 

II II 2 = e aU)/ . (11.3.4) 

因此，如果 A 的特征值都在左半开复平面的话，则上式是一致衰 
减的.但若 A 是非正规阵，则^^在衰减以前可能会增长 .下 面的2 
乘2矩阵 





A = 


0 
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很清楚地说明了这一点. 

11.3.3 — 呰稳定性问题 

有了上面讨论我们可开始考虑算法 11.3.1 的稳定性.如果 
A 是 个 其指数在哀减前增长的矩阵，在平方的过程中会出现一 
些潜在的困难.如果 

则可证舍人误差界的阶为 

7 = « II G 2 || 2 - II G 4 I 2 -|| 0^ ；1 || 2 , 

它损害所计算的是意料之中的.如果 II e Af || 2 的初始增长很 
大,则可能 

7 > « IJ G 2j || 2 〜《;j #|| 2 ， 

从而排除了相对误差较小的可能. 

如果4是止规阵，则 G 电是正规的.因而对所有正整数 m 

有 II Gl 2 = II G llr . 所以 ，II G 2; If 2^11 || e A II 2 ,故初始 
增长的问题消失了.当 A 是正规阵时，算法基本上能保证相对误 
差较小.反过来，当 A 是非正规阵时，要对方法给出结论更加困 
难，因为述不清楚矩阵指数的条件数 以 A ，0 与初始增长现象之 
间的联系.然而，数值实验為明，只有当 v ( A , l ) 很大时，算法 
11.3.1 不能给出相对精确的 e A . 


11,3.4 特征值和伪特征值 

在 §7.1 的结尾，我们指出，用矩阵的特征值来衡童与奇异阵 
的接近程度时往往+是很好，除非矩阵是正规的.在方程组 Ar = 
6解的扰动分析中，正是矩阵的奇异值反映了扰动的灵敏性.我们 
对矩阵指数的讨论是对这种效应的另个警示.个非正规阵的 
谱不能完全描述//的性态， 

在许多应用中，矩阵的特征值对所建模的基本现象“说明”些 
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什么.但当特征值对扰动极为敏感时，它们所说明的则可能会是误 
导.这促使了伪谱的思想的发展.对 e >0, 矩阵4的£伪谱定义如 
下： 

X ,( A ) = i ^ e ,'； ： II ( 之 J — A ) 1 II M - (11.3.5) 

定性地讲，当 A 接近奇异阵时， z 即是 A 的一个伪特征值，约 
定 A 0 ( A ) = A ( A ). 下面是伪谱的一些 性质： 

1■若 ^<£2,则 Aei(A ) C = Ae 2 ( J 4 ) , 

2. A) = i s ： ^ C : (j min (zl - A )^e \, 

3. A “ A ) = UeC :之6；((4 +[),£ 为 1 £ || 2 <£ 的某个矩 
阵 N 

描绘一非正规阵的伪谱能观察出该矩阵的内在表现.这里 ，“ 表现” 
可以指求解方程组 Ar =4迭代法的数学性态，也可指在涉及到矩 
阵4的模型中所预测的物理观象.见 Higham 和 Tr e feth en 
(1993) , Nachtigal , Reddy 和 Trefethen ( 1992) 及 Ttefethen , Reddy 
和 Driscoll (1993). f 


习 题 


11-3.1 证明 + 对所有的 / 成立当且仅当 AB = BA (提 


示 ：将两 边展成 f 的幂级数然后比较 f 的系数）, 

11,3.2 设 A 是反对称的，则 e A 和（1.1)阶 hidS 逼近 义 / A ) 都是正 
交的.还有其他的 / sg 使得正交吗？ 

11.3.3 证明：若4非奇异，则存在矩阵 X 便得 A = e x ， X 惟一吗？ 


11*3.4 


证明：若 exp 




A t 

0 



F u 

0 



，则 


F7 t F 12 = fW e 〜. 

J 0 

11.3.5 当羞=仙'«，^^，时，给出计算^的算法. 

11.3.6 假设 AG 且 || ^ | l z = 1,定义函数 /(/) = 
Ik % U /2, 证明： 
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其屮 i 此可得结论： 

I? || t >0. 

11.3.7 证明本节中给出的二个关 f 伪谱的件质. 
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数作如逼近的各个方 ifli 可参见 

W. Fair and Y. Lukc( 1970). “Padc ApproximautiTLS :o rhe Operator ExponeTUial ， 

M^h. /4 ,379—892. 

C.R Van Loan (1977). "'On the Limitation md Application of Fade Appn^xinrifa：:ion to ihc 
Matrix Exponential, ，T in Pode and Ratiomzl ApjyfurimaTion ,ed. K. B. Saff mid R. S. Var¬ 
ga^ Academic Press t New York. 

R. t . Ward(1977). "Nujmeric^l Cornputfitioti of rh<? Matrix Kxponential wiih Accuracy Esti- 
SIAM /, !\um . Anal . 14 ,600~~614 

A-Wrag^(]973). ^Cumputalion of [he Exponential of a Malnx [ : Theoretical C^jnsidcra- 
tioas/ P / Inst Ma[h - Appiic - 11 ,369 — 375. 

A r Wra^g( 1975) - s 'Conriput£Uion of the Exponential ei Matrix II : Practial Considerati<ms , P， 
7, / risl. Math . AppiH5 ,273-—278. 

方程 （ 11.3.1) 在数量情况 F 的证明叫见 

R.S. Vatga( L%1 ) r “On Higlitff = Order Stable Implidt Methods for Solving Partibolic Par¬ 
tial Differential Equations，’/ ■ Math ■ Physi. 40 ,220 — 231. 

在控制论的许多应用中，需要汁算矩阵指 数例如 . 在线性最优调节问题中，需要 

各种各样的涉及矩晬指数的积分，见 

]Johnson and C r L, PhilHps( L97I). u An Algorithm for the Computation of the l.ntegral of 
the State Transition Matrix 广 /EEE Trcins. Aulo. Cow/, AC-16 >204 — 205, 

C,F r Van Loan (1978) w Computing [ntesrals Involving the Mat ns Exponential P ^ IEEE 
Tram. AutOr Cant , AC-23 5 395 一 404, 

在评估计算矩阵指数的算法的表现时，理解映射 A — ^xp ( 山）的敏感件昆很有帮 

助的 . 这方面的丄作 包括： 

B, Kflgstrom(1977). arid Ptrturh^tion Bounds for the Matrbc Exponennial* "JJ/T 


f7,39—57. 




Cl F. Vfin Loan ( 1977). “ The St^nsitivily of ihe Matrix ExponefUial > ，¥ S/AA-f j . Num . 
AmiL 14 ,971—981. 

R, Mathias{ 1992),Evaluating the Frechet Derivative of thp Matrix Kxponential, r 'Numer. 
Math. 63,2l^-22h. 

矩阵对数的计算是-个重要的领域，它笫要更多的研究.这些计算出现在各种各 
样的系统识别 问题中 .见 

B, Sir>gcr and S- Spiltrtnan (1976). “The Representation of Social Proo^ses by Markov 
Mcxlds ， ^Amer. /, ^odoia^y 82 ， } — 54. w 

R W. Hcltjon( 196S). “Logarithms of Matrices， P " Proc r Amer. Math . . 19 T 733 —736 」 

关于伪请，我们建议参阅： 

LN.Trefeth™{ 1992). ^ Pseudwpecta of Matrices/' in biumericai Amiysix 1^91 , D. F. 
Griffiths and G, A, Watson(edii) ,lj>ty?man Scientific and Tcchjiical T Harlow > Fjssex * UK t 
234—262. 

DJ, Higham and L. N. Trefethen( m3). "Stiffness of ODES/ BIT 33, 285—303. 

LsN. Trefethen^ A. E. Trefethen.S. C, Reddy,and T. A. Driscoll(1993). w Hytirodynainic 
Stability Without Eigenvalues, TP Scien^ 261 ,578 — 584. 

以及 Cha 彳 tiiV'Qiatelin 和 Fraysse(]9%, | r ^ ) r 
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第十二章特殊问题 

约束最小二乘问题 
利用 SVD 选取 f 列集 
整体最小二乘 
利用 SVD 计算子空 N 
矩阵分解的修正 
修正的及结构化的特征问题 


在此最后一章 t 我们讨论几类反映奇异值， QR 分解和 Schur 
分解重要应用的问题.首先考虑带约束的最 小二乘 问题. §12.1 
考虑了两类约束，二次不等式和线性等式.在& 12.2 中，我们讨论 
了怎样用矩阵 A 的某些列来逼近观察向量6,当 A 亏秩时，这是 
经常用到的.在§ 12.3 中，考虑了被称为整体最小二乘的一般回 
归问题的变化形式，它在 A 有误差时是很有用的.有关奇异值分 
解更多的应用在 §12.4 吋论，其中考虑了几类 f 空间的计算问 
题.5讨论了当矩阵4有低秩扰动时，怎样更新它的正交分 
解.基本特征问题的某些变化形式将在§ 12.6 中讨论. 

预备知识： 

因为本章是综述性的，不宜给出所需知识的章节范围I相反， 
每节的开头都会提一下本书前面相关的内容， R 如果合适的话，会 
提到 LAPACK 或其他专著. 

§12.1 约束最小二乘问题 

在最小二乘中，有时很自然地要在赏的某子集上极小化 
II Ar-A |! 2 ,例如，我们希望在单位球 II z II 2 = 1上用 Ar 来逼 


2 2 2 2 2 2 
1J 11. 11. 

§ § § § § § 
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近向量 6 .或者需要求出一个插值函数使其在有限个点上取给定 
的值.这就导致了等式约束的最小二乘问题.本节讨论怎样用 QR 
分解和奇异值分解来解决这些 H 題. 

阅读本节需要第五章及第 §8.7 节的知轵.相应的 LAPACK 
软 件有： 


LAPACK ； 

解广义 / 约束最小二乘问理 

-GGLSE 

解等式约束的 LS 问题 

-GGQRF 

计箅矩阵对的广义 QR 分解 

-GGRQF 

计算矩阵对的广义 KQ 分解 

-GGSVD 

把广义奇异值分解问题转化为二角阵形式 

-TGSJA 

计箅一对=角阵的广义奇异 值分解 


补充参考文献包括 I ^ awson 和 Hanson ( 1974 ) 以及 Bjorck 
(1996). 


12.1.1 二次不等式约束最小二乘 


带二次不等式约束的最小二乘的极小化，简称 LSQI 问题，是 
—种当一般的 LS 问题之解需要规范化时可用到的技术.在对有 
噪声的数据进行插值时，会出现下面简单的 LSQI 问题： 


( 12 . 1 . 1 ) 


min II Ax — 6 || 2 
s . t . II Ba : It 2 < a ， 

其中(非奇异）且约束条件定 
义了 R " 中的一超椭球体，它用来减少逼近函数中过分的振荡.例 
如，当 S 是离散的二阶导算子就可以办到这一点. 

更一般地，我们会遇到如下 问题： 


其中 A ^ W ^ n (： 


min |i Ax — b \\ 2 
s . t || fir - d \\ 2 ^ a 


( 12 . 1 . 2 ) 

以及 
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8.7.3 节中的广义奇异值分解为解 （12.1.2) 提供了思路.事实上， 
若 

[7 T AX = diagUu 2 ，‘-.， am )， U T U : (12*1.3) 

V t BX = diag (内，/? 2 ,…， A)， V T y - I p ,q = min \p,n \ 7 
是 A 和 B 的广义奇异值分解，则 （12.1.2) 变为 
min || D^y - b \\ 2 

s.t. II - d || 2 < a， 

其中 r = 简单形式的目标函数 

II D^y - b\\\= - ^) 2 + £； TJ, (12.1.4) 

J - 1 ?■ = W + 1 

以及约柒方程 

II - d \\ \ ^ 公 （to - m V) d] < Yt 2 . 

j = 1 { = r+l 

(12.1.5) 

方便 r LSQI 问题的分析 .这甩 r = r ank ( B ) ，且假定 A ^ … = 

ft =0. 

首先，原问题有解当且仅当 


t d \^ a \ 

-rH 


如果在表达式中等号成立，由 （12.1.4) 和 （12.1 

.5) 知向量 j: 


i = 1 : r， 


y , = i b t /ai. 

/ — r + 1 ： « , 

«, 7^ 0 1 

l o, 

7 — r + 1 ： n , 

ff, = 0, 



(12.1.6) 

是原 LSQI 的解.否则 

交 dj<a\ 

t — -a- 1 

(12.1.7) 

我们有更多的自由度 ， E H 的向量^ 


j b { /oj ^ 

o, ^ 0, 


Vv = 4 〜 

^ in 

a t = 0, 1 

- \ ： n 
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是 ||乃心 -f II 2 的极小点.如果此向量也是可行的，则得到 
(12.1.2) 的一个解（然而，这并不一定是最小范数解）.因此，我们 
假设： 

d,)\ ± d] > a\ ( 12 . 1 . 8 ) 

i=l ^ a 2 / r = ^ M 

这意味着 LSQI 的解出现在可行域的边界 h. 0此，我们剩下的问 
题是 〜 

min || D^y - b \\ 2 

s‘ t‘ || D^y — d \\ 2 — a - 

现用 Lagrange 乘子法求解这一问题.定义函数 ： ~ 

h(X t y ) = II - b II 2 + A ( !l Dsy - d || ■ - or 2 ) 

由 0 = 3h/3 yi ，i = l:n ， 得如下方程组： 

(DlD A + AD^)^ - D\b + XDld . 

假设系数矩阵非奇异，则得解 ^(A): 

\ ^ + ^ ; d i ■ ,, 

^ ca )= 7 fT ^ t ， 

l Vi/ai T i - q ^ \ n, 

为了确定 Lagrange 参数，定义函数： 

^(A)= II D^{X ) — d W\ 

e ~ a i ^ t y 2 

= Zj a i - 2 , + Zj ^ 1- 

，- 1 a i ' r 八 Pi I = r+1 

则由方程 HX ) = a 2 确定 A. 这一类型的方程称为特征 （secular) 方 
程，它在 8.5. 3节中出现过.从 （12.1.8) 可知，分(0) >7,当；(>0 
时彳 U) 是单调减的，因此存在惟一的.正数 广使得 = 
易证这就是所要的根.它可以用任何一种标准的求根方法来求，例 
如 Newten 法，原 LSQI 问题的解为 r ^ Xy ( k ^). 

12.1.2 球约束的 LS 

对球 (B = J n ，d =0) 上的极小化的重要情形，我们有下列算 
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法. 

算法 12 . 1.1 给定阵 AeE ： mXn , 本算 

法计算一向量 r , 使得 \\ Ajr - h \\ 2 极小且满足约束 

II X || 2^0 - 

计算奇异值 分解 ： A = t / W ' 存储矩阵 V = [ h , …，％」并生 
成向量 6 = t / T 6 . 


r — rank( A ) 



else 



求™遞 



end 



Vi 


在此箅法中，主要的计算是奇异值分解. 

例 12 . 1.1 LSQI 问题 




~2 

(T 



T 






「上 11 




min 


0 

1 


— 

2 


_r 1 2 = 1 


0 

a 

L 工 2 」 


3 - 



的长期方程为 

⑸)、(土卜 1 

对这个问题，解为 A * = 4 . 57132 与 1 = [ 0 . 9334 , 0 . 35898 ]「. 


12 . 1 . 3 岭回归 


算法 12 . 1 . 1 所求解的问题等价于 Lagrange 乘子问题 ：确定 
A > 0 使得 
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(12.1.9) 


( A t A + U)jc = A T b t 
且 111 II 2 = a . 这正好是岭回归问题 

min I \_^-j Jr _ [: j : == min ” Ar _ 6 | ■ + A II :c 111 

的正规方程.在一般的岭回归问题中，用某种准则来选取参数乂， 
例如： 对某个给定的 a II A ) || 2 = a . 我们介绍一下 Golub , Heath 
和 Wahba (1979) 的一个选取 A 的 算法- 

令 Di = 1 - = cliag(U …，1,0，1，.*、1) € F " Xm ，设 

^⑴为 

min || D/,(Aj: - 办） II ■ + A 11 :r || . (12.1 * 10) 

的解.因此，是去掉矩阵 A 的 第&行 和向量6的第 A 个元素 
的岭回归问题的解，即忽略了第 A 次实验.现考虑选择 A ， 使得相 
互确认加权平方误差 C ( A ) 达到最小，其中 

C(A ) =丄 § U 4 (aJriU) _ b k ) 2 , 

m k -\ 

这里 t^i ,**' f iVm 是非负的加权数，是 i 4 的第 6 行.注意到 
|| Ajc k (X) - b\\ 2 2 = II f>,(A^(A) - ^) II 2 + UjriU) _ b k ) 2 . 
我们可以看出，当 A 的第々 行又重新考虑时，在原平方和中增加 
了 — 〜) 2 —项.极小化 C ( A ) 相当于选取 A , 使得最终的 

模型不过分依赖于任何一次实验. 

为了使上面的叙述更加精确，我们对它进行严格的分析，并给 
出一个极小化 CU ) 的方法.假设 A >0,简单的代数运算可证 

々（ A ) = jc ( X ) + a ^ (X) ~ \ k , (12.1.11) 

1 — 

其中 q = ( A t A + ur l a kt ^(X) = ( A t A + 在 

(12.1.11) 的两边左乘并都加上&，得到下式： 


- ak ⑴ 
注意到残差 


r = [ ri , r m ] T = b - Ax 由公式 r=[J - 
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A (,4 T A + AI ) - U T ]/> 给出，可知 

C(A ) 二 ■ 

商 Q / pq / a 心）可以看成是第々次观 测值心 对模型影响的反度 
量.当很小时，这表明模型预测&的误差几乎与心无关. 
选取参数 A 使得 C ( A ) 达到最小就是为了减小这种趋势. 

计算 A 的奇异值分解后，; T 的确定变得非常简单.事实上， 
若 V T AV = diag ( ， … ， cr „ ) ， q … h = L / T & ， 则由 

(12.1.12) 可证 


C ( A ) 


s 




bk 


~ i 






i _ S 


A + ^ 


GoluKHeath 和 Wahba ( 1979) 讨论了这个表送式的极小化问题, 


12.1.4 等式约束的最小二乘 


在本节的最后，我们考虑约柬条件为等式的 情形: 


min || Ax - ^ || 2 , 
s . t . Bx = d. 


(12.1.13) 


这里 且 rank ( B ) = /> ■我们把 

( l?.l .13) 称为 LSE 问题.在 （12.1.2) 屮令 a =0,即得上面的问 
题 （11.1.13) .可见 LSE 问题是 LSQI 的一个特例.然而，直接地去 
解 LSE 问题比 Lagrange 乘子法更为简单. 

为简单起见，假设4和》都是满秩的.设 



P 

71 — p 


为 B T 的 QR 分解，且作 分划: 


很明显，在这些变換下，问题 (12. 1 . B ) 变为 


P 
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min f| + A 2 z - b || 2 ■ 

R T y=d 

因此可从约束方程 d 解出.向量 z 可以通过求解下面的 
无约束问题 得出： 

min II A 2 z - (b - A^) || 2 . 

综上所述，向量•: c = 为问题 （12.1.13) 的解. 

'-Z -I 

算法 12.1.2 设 

rank(A ) = ”且 rank ( B ) = />，则本算法在约束条件 Bjl ~ b 下极 
小化 || Ar — 办 || 2 . 

B T ^ QR (QR 分解） 

解方程 ltd : PA : p) T y 二 d 得到 : y. 

A = AQ 

求 Z 使得 |j A (:,/? 十 1 : — (6 — A (:，1 : p'y 、 II 2 极小 

尤 = Q( : 1 1 : p)y + QC ： , /) + 1 - n)z 

注意，这一算法用到了两次矩阵的分解和一次矩阵乘法. 

12.1*5 加权法 


一种求问题 (12.1.13) 近似解的有趣的方法是对充分 大的又 
解无约束 LS 问题 



(12.1*14) 


8.7.3 节中的广义奇异值分解 ( GSVD ) 可用来分析逼近的效果.令 
t/ T AX = di a g( ai ， a 2 ，.、aj ^ D A e 


V T BX = diag ( 汍 ，馬 ，…， ftj - e R— 

为 ( A ， B ) 的 GSVD . 为方便起见，假设两矩阵都是满秩的.若 f / = 
[ u t , u 2 r" t u m ] 1 V = [ wi , …， 〜]， A ： = [ JTi ，…， JT „] 则易证 

i 十 2 (12.1.15) 

1 = 1 Pi i^p+1 
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这正好是 （12.K13) 的解， [fu 




(12 丄 16) 


是 (12.1.14) 的解.由 
: c ⑴一 


心 aii^ulb - a ^ d ) f 、 


知工 U)—X 当 A—™. 

这种解 LSE 问题的好处是它不需要特殊的子程序.一般的 
LS 求解箅法即可.然而，当 A 的值很大时，会遇到数值上的困难. 
故有必要采用预防措施，见 Powell 和 Reid(196S) 以及 Van Loan 
(1982a). 

例 12.1.2 问题： 


min 


\ 

3 

-5 


-3*1 

工 2 」 


2 


的解为 ：c = [0.3407821,0.3407821 ] T _ 近似地可求解 问题: 



_ 1 

. 2 - 


「 7 ， 



3 

4 


1 ' 



5 

6 

UJ 

3 ! 


! 

-1000 

1000- 


- o 」 



其解为 = [0,3407810,0. 3407810 ] T . 


习 题 


12,1.1 ( a ) 证明 ：若 即1]{>)/1如11<1?)#彳0丨，则（12.1.2)不可能有惟 

一解.0>)给出一例子,说明反过来是不对的（提 示： A + 6可行）. - 

12.1.2 设 ^(^，/^〈•^，…，/^(■^是已知的多项式，^。，：^),…， 
知） 是一列己知的坐标对， [ a ，6], 我们希望找出 -- 多项式 p (工) 

=使得2； (/ > u ) - 30 2 在下列约束下达到 最小： 

i =0 K =0 
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其中 & = a + 认，6 =。+ /%，证明：这导致形为 （12 丄 1) 的 LSQI 问题. 
12.1.3 设 满足： 

Y t Y = di a g(4, … ， 4 )， ^ -* > d k >0. 

证 明：若 y = GK 为 QR 分解，则 II 是对角阵且 Ig \= d t . 

12.1.4 ( a ) 证明 ：若 （ A t A + M)x = A T b,X >0, || j || 2 二 ，则 z = 

(Ax - b)/X 是对偶方程 （ AA t + XT) z - ~ b , || A T z , \\ 2 = a 的解 ，（ b ) 证明： 
若 ( AA t + M ) z = ~ b f || A r z II 2 = a ，则 j : = - A t z 满足 （ A T A \ Xi)x- 

i 4 T ^, H j : II 2 - a - 

12.1.5 假设 A 是元素均为 1 的 m XI 阶矩阵， JT , 证明： 用单位 
加权的相互确认技巧给出了最优值 A . 

tn 

其中 = ( b ' + …+ bj/m ， s ; y ^,( b T ~ b ) 2 j (m - 1). 

r-I 

12.1.6 证明方程（12.1_15)，（12.1.16)和（12-1.17)， 

12.1.7 给出算法 12.1.2 的 SVD 形式，使之能处理秩亏的 ,4 和 B . 

12.1.8 设 A = m , 其中 AiGRW "非奇异， _ 心'证明： 

°W( 4 ) > %/ 1 + ^ihiiC^Z>4i l T 2 (?min (A]). 

12.1.9 考虑 问题： 

min 11 Ax -6 2 ， A & R mXn r b ^ R rtXn ■ 



假设 B 相 C 是正定的，且"为非奇异矩阵，满足 Z T BZ = diag ( A lT A 2 , 
■■、 AJ ， Z T CZ = 匕山>… >； l „，（ a > 证明： ，除非 X n <^/ y 2 < X u x 的可行 
集是空的 .（ b ) 利用 Z ， 说明如何把两个约束的问 M 转化成一个约束的问题： 

T min If A x - b\\ 2i 

其中 w = diag(Ai - kj . 

lz . i . io 设，且说明如何计算正交阵 
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ge:i in x M 和 v e f x " 使得 

Q l A = [ = j ， Q T SV = [O f 5j, 

其中 fiG 兄 〜都 是上三角阵. 

12.1.11 设，占 >0, 如何求卜述问题： 

II ^ - r || 2 

I £■■" 

把 “min” 换成 “max' 情况又如何？ 

本节注释与参考文献 

粗略地说，正规化是把坏条件的 W 睡转换成稳定问题的种技巧 .二 次约束的最 
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Anal.AppL 13,675—(iH7 r 

广义分解对广义最小：乘问题起重要 作用： 

C- C.Ptiige(l985) “The General Linear Mrxicl and the Generalized Singular Value Deoom- 
position T ” 乙 m and hs Applic . 70 ,269 — 284, 

C. C 」 Paige(l990). “Some Aspects of GeneraltKed QR Fat tariiatiun t "in RHiubie Nmnerivn! 

Chmputatzmis y M. Cox and S. Hamnmrling(cris) .Clarendon Press T Oxfor<L 
E. Anderson,Z ， Bai.and J. Dongarr〆 1992). "'Cicner^Sized QR Factorization and Its Appha- 
Uans^Lin . Alg. and Appiir^ 162 ,163,164 T 243 一 271 ■ 

§12.2 利用 SVD 选取子列集 


正如 §5.5 所介绍的那样，亏秩的 LS 问题 min || Ar - ^ || 2 
的求解可以用 


2乎,, ， 


来逼近最小范数解 

工 LS 

其中 


rank { A ) , 


A = VSV T = 2 (12.2.1) 

为 A 的奇异值分解 ( SVD )，7 为秩: 的数值上的估计.注意， 

是 min II Ayjc — b || 2 的解，其中 

Ar = S ^ iU { o T i 

(=L 

为离 A 最近的秩 7 的矩阵，见定埋 2.5-3. 

在 LS 问题中用 Ay 代替 A 相当 f 忽略了小的奇异值.当 A 
是从噪声数据中导出时，这样处理是很有道理的.然而，在另外的 
应用中，亏秩意味着在构成基本模型的因素中有冗余部分.在这种 
情况下，建模者对诸如这样含有所有的^个因素的预报可 
能不感兴趣.相反，可能需要预报量 Ay ， 其中^至多含有 F 个非 
零元素.非零元的位置决定 f A 的哪些列即模型中的哪些因素， 
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用来逼近观察向量6.如何挑选这些列是子集选取 M 题，也是本节 
的主题. 

本节的内容建立在 §2.6 和第5章的基础之上. 

12.2.1 选主列的 QR 方法 

选主列的 QR 算法可以看作是挑选4的线性无关子列的一 
种方法，然后用这些子列来预测6.假设我们对矩阵用 
算法 5.4.1 计算出一正交阵 Q 和排列阵 iT ， 使得 If = 为 

上三角阵 J 口果 1?(1: r ) z = b = Q T b 


则匆是6的用到矩阵 AJI 的前 F 列的一个近似 LS 预 测值. 

12.2.2 利用 SVD 

虽然选主列的 QR 算法是处理亏秩问题的一种相当可靠的方 
法，但正如 §5.5 所讨论的那样，有时候 SVD 更可取.因此，我们 
介绍一下 Golub ， Klema 和 Stewart (1976) 提出的基于 SVD 的子集 
选取算法，整个方法如下： 

• 计算 SVD:A = [；£ V T ，并利用它确定秩的估计 r . 

• 计算交换阵 P , 使得矩阵&的列充分无关，其中 AP = 

[ b ,， b 2 ], 

• 用向量匆顶测6 ,这里 ： v = p U ，2： 6] 〆 极小化 || Bp 

• U 」 

_ ^ II 2 - 

第二步是关键.从 

min || B x z - b \\ 2 ^ II - 6 || 2 > min || Ax - (HI 2 

可知交换阵 p 应该选得使残量 a 尽可能小.不幸的 

是，这样的求解算法是不稳定的. 例如： 
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0" 


A 二 1 1 + e 1,办= -1， 

.0 0 1」 . 0_ 

F = 2，!* = f ，有 min il B'z _ b || 2 = 0,但 II Bi + 6 I ! 2 = 0( 1/ e ) ■另 
一方面，任何包含 A 的第3列的真: T 列集都是线件无关性极强 
的，但得到的残量却都很大. 

这个例子表明在所选取列的无关性与它们所得到的残墩之间 
有冲突.处理这种冲突需要用到关于 队 的最小奇异值巧 (化） 的 
界的数学性质. 

定理 12,2*1 设 "的 SVD 由 （12-2.1) 给出， 

rank ( A ) ，定义矩阵 

AP - [ Bi , B 2 

T n—Y 

其 t PGM " “为一 交换阵.如果 



P T V = 〜 〜 .(12.2.2) 

_^21 士 - ？ 


且孑 n 非奇，则 

II V n l II 2 

证明 从 8.6.1 节中给出的奇异值的最小最大特征可知上界 
估计成立. 

为了得到下界，划分奇异值对角阵： 

z = p 0 l 二 

L 0 〜州 —r 

7 n — 9"" 

如果为一单位向量且 II B l -w II fcrdBi ) ，则 
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由 ij VJi-wll vn 1 II 2 知定理成立. □ 

这个结果表明，为了得到一充分无关的子列集，我们要选择交换阵 

P 使得所得到的子矩阵条件数越小越好.一个直观的做法是 

计算矩阵 [ ，\^ ] 的列选主 QR 分解.这里 

v =[v u V 12 ] 

L V2! V 。〜 ~ y 
r" n~ 1 " 

是 （12.2.1) 中矩阵 V 的一分块形式.特别地，当我们用选主列的 
QR 算法(算法 5.4.1) 来计算 

Q x [ = [R n 

时，从 （12.2.2) 可知 


Vnl = [Rj.Q^ 

hi」 = lRJiQ T \ 1 

其中 a 为正交阵， p 为交换阵，为上三角阵.注意， j * u 是非奇 

的且 II Vn L II 2 = II Rn L II 2 .直观上，选主列有利于得到一个良态 

的 Hu , 且整个过程倾向于产生一良态的？因此，我们有下列 
算法： 

算法 12.2.1 给定矩阵 "和 本算法计算出 
一交换阵 P ， 估计秩？\和一向量;，使得阵5 = 乂』，的前 F 
列无关且 . II B (:， 1 : r ) z-b || 2 达到最小. 

计算 SVDit / hVsdiagU ， …， O 并存储 V . 

确定？^ , F ^ rank ( A ) 
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用选主列的 QR 分解计算 Q l V - r ) T P = lR Lt R L2 ] 
并分划 

AP = e :^ yr \B 2 e . 

求之 eH r 使得 II 6 - B] s II 2 ~ niin 

例 12.2.1 



- 3 

4 

i.oaor 


T 

A = 

7 

4 

- 3.0002 

L _ 

1 

2 

5 

2.9999 

、 P - 

1 


-- 1 

4 

5.0003 J 


-1」 


的意义上讲， A 接近于秩 2 阵.在算法 12.2.1 
中令 r = 得解 jr = 「0,0.2360, _0.0085 」 T ，残差 \\ Ax ~ b \\ 2 
=0.1966, 交换阵为 P == [ c * 3 > e 2 , ei ]. 注意，=「828.1056, 
-8218569,828.0536] ,相应的残差为 || - b || 2 = ( K 0343. 

12.2.3 列无关与残差的进_步讨论 


我们回过来讨论列的无关性 与残差 范数之间的冲突问题.特 


别地 ，为了评价 _ h 述子列集选取的方法，我们观察一下向量：/的 
残差 r v = 6 — 4》= ^ — = (i — ■这 M B ] = B (- t V - 

r ), B=AP 为此，比较 r y 与 — A . r ^ i 是 合适的，因为 A B 
看織 r 阵，而为最近的秩 FLSIW 题 min II A ^ r ， 6 || 2 之 
解. 


定理 12.2.2 如杲 r y 与 如上定义， Vn 是 P T V 的 F 乘 
7顺序主子阵，则 

II % _ 「V II 2 € : 」 |i)) H V「/ II 2 • II b II 2- 

证明注意 r , ? = ( j ~- V , 17?) 6与 G =( 卜仏 其中 
t / = [4 v 2 _] 

m ~ 

是 （12.2.1) 中矩阵 C ； 的一种分块形式应用 




定理 2.6.1， 存 

II'- rj| 2 < || V l Vj-Q l Qj\\ 1 \\b \\ 1 

=11 t/ 2 T (2l II 2 II My 

再由定理 12.2.1 知 


li ViQ , || 1 UiB , || 2 || 


< 譏 11 W I 


⑷成 ) 


n 


II r x _ - 〜 |j 2 二 II ^ vy ~ ^ ( ujb)ui || 2 , 我们可以看出定 

? f = l 

理 12.2.2 给出了 B j 预测向量 6 的“稳定”部分，的精确稈 
度.任何逼近 Ujb 的办法都会导至范数很大的解.此外，定理也说 
明若则任何合理的无关 r 列集实质上都会产 


生差+多大小的残量.另一方面，如果奇异值之间没有明显的差 
距，则确定7的值变得比较困难，因而整个子列集的选取更加复 

杂 ■ 


习 题 

12.2.1 已知 II « t A h = = 证 明：若 u T ( Ax ~ b ) 

= 0 ,对某个 16 ;\ 6 £]^，则||：^| 2 >\ u l b \/< j . 

12.2.2 证明： 由"的左列组成，则 

12.2.3 在方程 （12.2.2) 中,我们知道矩阵 


P T V = 



是正交的.丙此，从 CS 分解（定理 2.6.3) 知 | 丨 Vn 1 || 2 = II V ^ 1 ll 2 . 试说明 
如何对 [ V f 2 ] 用列选主的 QR 算法汁 算矩阵 P ,( 对此方法比 
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书中讨论的技术更经济）.将此现察用于算法 12.2. t . 

本节注释与参考文献 

本节的材料 选自： 

G. H. Golub, V. Klcma and G W. Stewart (1976), “Rank Degeneracy and Lest Squares 
ProblemH^" Technical Keport TR-456, Department of Ccnoputer Science > Univ^ir^ity of 
MaiyUnd, Col lege Park.MD. 

基于 §12,3 中的整体最小二乘插值技术的一个了列选 取力法由 卜文给出： 

S. Van Huffel and J T VandewaJle( 1987) r “Subset Selection Using the Total Least Squares 
Approach in CoIJinearity Pnobkm? with Errors in the Variables, ，f Lin . AI^. and lu 
Applic.88 /89 f 695—714, 

关十子列集选取的文献浩如烟海，我们向读者 推荐： 

H. Hoteling(1957), H The Relations of ibe Newer Multivaiiate Statistical Methods Lo Factor 
Analysis, . J . Stat . Psych . 川 ， 69—79. 

§12.3 整体最小二乘 

极小化问题 min || D(Ar - b ) || 2 ,其中 AGE myM ,D = 
diagUt ， …，尤）非奇，可重新整 理为： 

min || Dr H 2 , r 6 (12.3.1) 

fr+r6raoge(A) 

在此问题中，隐含地假定只是观察向量 6 有误差.当“数据” A 也 
有误差时，则更自然地考虑如下 问题： 

min || D [ E t r]T || F , E 6 6 ' R m , 

b+rGmagie(.A^ E) 

( 12 * 3 . 2 ) 

其中 1 = 4吗0 1 山，‘.‘，〜 + 1 )都非奇 

异 . Golub 和 Van Loan (1980) 讨论了这类问题，称其为整体最小 
二乘 ( TLS ) 问题. 

若能找到 （12.3.2) 的-个最小点 [£^,4] ，则任何满足 （A + 
E 0 )x = 6+ r 0 的; r 都称为 TLS 解.然而，应该认识到 （12.3.2) 可 
能根 本无解 .例如，对下列矩阵和向量 
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"1 0" 


r 


"0 0 _ 

A - 

0 0 

-0 0L 

,b = 

t 

1- 

,iy = ^3，t = 二 

0 e 

-0 €- 


贝! I 对 Ve >0, 6 G ran (A + Ee) ‘ 但是对 b + r^xani A + £)， 
II E,r || F 尤最小值. 


我们叮以把 (12.3.2) 推广到有多个右端项的情形.特别地，对 
Be 3 T yk t 我们得到如下问题： 


rwige^ii+W)^ranee(A + ^} 


II o[£ fJ R]r f! F 


(12.3*3) 


其中 々，且 阵 ，…， 4) 和 r-diag 

(£ 1 广‘山0)非竒异，若[仏,1? () ]是问题（12.3.3)的解，则任何满 


足 （A +E 0 )，X= (B +B 0 ) 的解叉£]吧 1?< *都称为（12.3.3)的 TLS 
解. 


本节讨论 TLS 的一些数宇性质，并证明可用 SVD 来求解.它 
需要第五章作预备知识 .Van Huffel 和 Vanderwalle (1991) 的专著 
对 TLS 作了详细的讨论. 


12.3.1 数学基础 


下面的定理给出了多右端向量的 TLS 解的存在惟一条件: 


定理 12.3.1 设 A,B ， Z) 和 r 如上所述 , 且假定 ?n>n+k. 


作分划 C = D[A,S]T=[Ci, C 2 ]， 它的 SVD 形式为： U T CV = 
n k 


diagk ’… t a n+k ) 


V =[V lf U 2 ],V = 
n k 


Vu 

V 2l 


Vl 中 T - \ St ° ] n 

k n k 


如果 + 则如下定义的矩阵 [Eo/Ko]: 

D[£ 0 ,fi 0 ]r =- U 2 £ 2 [Vj 2 v£] (12.3.4) 


为 （ 12.3.3) 的解■若 Ti - diag(ri, **■, r„ ), T 2 - diag + 1 ，…， 
Go )， 则矩阵 
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Xn.s = - T v Y V 2 V,Jt 2 x 
序在且是方程（/\十 E G )X-B^ R 0 的惟一解. 

证明 我们先从假设 + 得出两个结果，由方 
程 CV- (7£知 C L V 12 卜 C 2 V 22 = U 2 I； 2 .我们希望证明 V 22 是非奇 
的.假设存在2范数单位范数/使得 V 22 x = 0,从 Vj 2 V l2 + 
Vj 2 V 22 = I ^\ || V 12 j ： II 2 = 1■但是〜+ “n》 || U 2 E 2 ^ II 2 二 
II C! V 12 ^ |彳 2 >〜（0),这与假设矛盾.因此子矩阵 v 22 非奇异. 

从&(<：】）> A +1 (C) 可得出的另外一个事实是关于 〜 ( C ) 
与 m(c) 的严格分离.由推论 8.3.3 知〜，因而 

a n (C)^<j n (Ci)><7 ll + i(C). 

现在我们來证明定理.如果 range(B 4 K)C ran (A +E), 则 
存在 〃使得 + + 

|D[A,B]J + D[E tJ R]T|T ] [ ^ ]= 0. (12.3.5) 

因此在大括号内的矩阵之秩不超过《 .从定理2乃 .3 的讨论中可 
证 


II D [£， i?]r ID x ； 〜 ( C ) 2 ’ 

I — n y 1 

R 当[£,1?>[£ 0 ，1? 0 ]时可达到下界.不等式 h(C)>〜 t] (C) 
保证了 [ E 0 , l? 0 ] 是惟一的最小点.矩阵 

{ D [ A , B]T + D [ E 0 ^ o ] r | = U^dVn V 2 r ,] 

的零空间是 f^ 12 l 的像空间，因此，从 （12.3.5) 可知，对某个々阶 
L V 2 2」 

阵 S， 有 


T ' 


— J L V22 J 


从方程 x X = V 12 S 和- T 2 _1 = V 22 S 可看出 S= _ ViTV 1 . 因 
此必有 

X = T.V^S -- T l y l 2 V^T 2 v - Xtl.s- □ 
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如果& ( C) = ~ + 1 (C) ,TLS 问题仍可能有解，虽然不一定是 
惟一的.在这种情况下，希望找到它们当中的“最小范数”解.为此， 
在空间上定义 r 范数 ： \\ Z \ T = !| T x l ZT 2 II 2 .如果 X 由 
(12.3J) 给出，则从 CS 分解（定理 2.6.3) 可知 

II X II 2 T = II v 12 v ^2 l 111 - (1 - ^( v 22 ) 2 )/^( v 22 ) 2 . 

这表明在定理 12.3.1 中应选取 V 便得 a ( V 22 ) 迖到最大. 

12.3.2 时的计算 

现介绍一下当 A 这一重要情形时如何使 V 22 最大,假定阵 

C 的奇异值满足 A p >< 7 n p + = \ + 1 .对V作列 分划： v = 

[ w !，％，…， i ]. 若0为一 Householder 阵使得 

f 、〜 {W 

V(-^n + \ - p n + 1)0- ^ 

P 

则在空间 span 1 % + p ， …， ％ + i 丨所有的向量中，= ] 的第 n + l 

个元素最大.若 a =0 T 则 TLS 无解.否则“^^ _ T x z /{ t n , x a ). 
此外， 

\ ln ~ ] ° | r ; T ( D [ A f A ] T ) v \ h ~ p = i ；, 

L o 0」 Log 」 

D[^ 0 ,ro]r -- D[A,^]r[^][^ T a], 

综上所述，有下面的 算法： 

算法 12.3.1 给定矩阵 a or " xM m n ) , ft e 及非奇异 
阵 D 二 diagWuA ， …， 4)， …， i n + 1 ). 本算法计 
算出（如果有）一向量 j：tls 使得 （A + + Q 且 

II D [ E 0 r 0 ]r|| y 最小 ■ 

计算5奶：1/ 1 '(1)[4,6]10¥二出叫(^7 1 ,“，，〜4 0并存储1/. 
找出 满足-力 >(T„ - 广 + 1 = … + j ■ 

找出 Householder 陣使得若 VP , 则 
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V( w +l，rt - + 0 

^ ^ + 1,71+1^0 

for / = 1:« 

工 i. _ _ ti . « 4 l/ ( + 1 + 1, n + 1 ) 

end 

end 

此算法需要约 2m« 2 + 12 /个 flop, 主要花费在 SVD 的计算上. 
例 12.3.1 TLS 问题 min II [e ， r H r ，其中 a 二 [1 ，2, 

--A + r 

3AY,b = [2.01,3.99, 5.80,830 ] T , 解为 j： ms - 2.0212^ = 
[- 0.0045, 一 0.0209, —0.10 私 3.0855] T ,r = [0.0022,0.0103, 
0.0519, -0.0423]' 注意，对这组数据， LS 解为 ^^ = 2.0197. 


12.3.3 几何解释 


可以证明， TLS 问题的解使得 




AH 2 


T\ 2 x + £； 2 +1 

达到最小，这里 a ? 为 A 的笫 t 行，乂是 6的笫 / 个元素.从这里可 
看出 TLS 问题的几何意义.事实上，数 


\aljc - b t \ 2 
x t T~ 2 x + r H J ( 


是向量 + 1 到子空间 
L 6, J 


p .= 


e R ,b = x T a 
*-b 


最近的点的距离之平方.用到的范数是 || Z || = :| Tz II 2 ，这方面 
有大量的文章，见 Pearson (1901) 和 Madansky (1959). 


习 题 

12.3.1 考虑 TLS 问題（12.3.2)，矩阵 D 和 T 非奇异 .（ a ) 证明：若 



ran k(A)< n ， 则 （12.3.2) 有解当且仅当合 t:ran(A).(b) 证明：若 Tarik(A) 二 
«，则在 A t I > 2 6 = 0 fi \ t nli \ !| Db || 2 >%(似!\)时（12-3-2)无解，这里7 1 
=diag(q ， ...〆„)■ 

12.3.2 证 明：若 c = i ) U ，6] r ; UnA 且 A ( C )>〜 + 1 ( C )， 则 
TLS 的解 满足： CAM ! - ^ +1 (0 2 1>^ - Ajd . 

12.3.3 说明在最小值矩阵£的前/>列为芩的附加约束下如何解 
(12.3,2), 

本节注释与参考文献 

本节内容建立在下列文献的基 础上： 

G. H. Golub and C. F. Van Loan (1980). “An Analysis of the lotaJ Least Squares Prob¬ 
lem^ SIAM J, JVum r Anal, 17, 883 — 893 - 

将 TLS 问题基 TSVD 是由 F 文 提出： 

G. H. Golub and C r Rdnsch (1970)」 u Singular Value DetMnposilion and I-east Squares 
Solutions ， ” Numer . Mash . 14 i 403 — 420, 

G. H. Golub (1973). “Some Modified Matrix Eigenvalue Problems, H SIAM Riruieiv 15 , 
318—334. 

关 TLS 问题最详细的研究见 

S. Van Huffel and J. Vantlewalle (1991). The Tmd Least Squares Problem : Qjmputa- 
tiotml Aspects and Analysis s SIAM Publications, Philadelphia, 

若 O 知 A 的某些列是精确的，则在 TLS 扰动矩阵 £ 中要求这些列为 0 是合理的 . 
关于这种约束的 TLS 问题的讨论可见 

J. W r Demtnd { 1987 ). “The Smallest Perttkrbation of a Submatrlx which Lowery the 
Rank and Constrained Total Least Squares Problems, M S/AAf J ^ Nutner ■ ^ na/. -24 f 
199—206. 

S r Van Huffel and J T Vandewalle (1988) ■ 气 The Partial Total Least Squares Al 识 rithm, 
/, Comp, a7id App . Mo/A 」 21 ， 333~~342. 

S, Van Huffel and J. Vandewalle (1988) ■ “Analysis and Solution of the Nongeneric Total 
Least Squares Problem/ SIAM J ^ Matrix Annl. Appl. 9 f 360 — 372, 

S. Van Huffel and J r Vandewalle (1989). ^Anelyisis and Properties of the Generalized To¬ 
tal Least Squares Problem AX^iJ Whoi Same or All Columns in A ate Subject to Er- 
rar，" SiAM J , Matrix Ajial - Appl • W t 294 —315 」 

S. Van Huffel and H. Zha (1991). “The Restricted Total Least Squares Pid^lem ： Formu- 
Utk>n ， Algorrithjo T and Pmp^rtics，’ SIAM J. Matrix AtkiI . Appi^ i2 T — 309. 
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S. Vart Huffel (IW2). “On the Sigiiificant:c of I ⑽ 1 [.east SqiiRrrs Problems ， ’， 

SIAM J. Mutnx A7ia!. Af，pi 13 T 20 — 35. 

M, Wei C1992). “The Analysis, for the Total Least Squyres Pnc.>blem with Mon' than Otic 
SoluUon/ F SIAM] MatHj Aj { al . AppI . 13. 746—763 

S, Vlih Huff cl hul\ H- ZKa (1993)」“An efficient l’otal last Square、Algonlhm R^sed On 
a Rank-Reveal i rig TwD-Sidrd (Orthogonal DecompcjsitLon >" Nur^nctU Al^rithf/i ^； 4 + 
101 — 133. 

(\ C. Paige .md M. Wei (1993). 'Analysis of the (k^nLTalizLd iolal Letisl Squares Prob¬ 
lem AX - B when of the Colutmi^ are Free of Error, ’’ Namer Math r 65 . 177 — 
202. 

R r D. Fiertu and J. R. Bunch ( 19^4), *t>>limtfarity anfl Tut^l Ltsisr Squirt*/' SIAM J. 
MaU-ijr Aruzl. AppL J.5 t 1167—1181, 

当数据矩阵有供差时，涉及 M 小一乘 插俱的 K 他文献有 

K r PearTwn (1901 ). “On IJtnc^ ^nd PUncs of Closest Vh to Points in Spacq ” Phil Mag- 
2, 559—572. 

A. Wald (1940). “Tlie FitTing of Straight Lines if lioth Variables are Subjecl lo Error, ，+ 
Armais (\f Mathematkui StatistH , 284 — 3(10 」 

A. Madansky (19S9). “The Fitting af Straiglu Lint* When Both Variahles Aic Suhject tc3 
Krror/ P J - Amer • Suxt. Ax^or .54+173—205 - 

I. Linnik (l%l), M^ihod of Leasi Squares arid Pmipks *，f ihe Theory o / ， 
Pcrgamon Press, New York, 

W. G- Cochrane (1968). “Emjrs of Measurement in Statistics，” J echnometrics 10 , 
637 ― 666 r 

K. Y r (iunsr T } r T. Webster, and R. L. Ivkson (197G). “A Comparison of h:iast Squares 
srid I-Btenl Root Regression Estirmtors，” lechmyrnetru IS T 75 ——83 」 

G, W. Stewart (1977c). “Sensitivity Coefficitaits for the Effecls of Errors in rhe Indepen¬ 
dent VariabJcs in a Linear Regression t ，T Tcclmit^J Report TR-571 T F>epirUrw：nt of Com¬ 
puter Science, University of Maryland * (College Park, MD. 

A. Van der Slui& and G. W. Vdtkamp (1979), "Restoring Rank and ConsLsi^ncy by Or¬ 
thogonal Projection/ 1 Lin r AIg r and Applk r 28 , 257 — 27S. 

§12.4 利用 SVD 计算子空间 


有时候需要了解两个给定的子空间之间的关系.他们有多近？ 
它们有交吗？它们中的一个可旋转成另一个吗？等等，本节 将:阐 
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明如何用 SVD 来 N 答诸如此类的问题.这里需要第五章和第八章 
第6节的知识. 


12.4.1 子空间的旋转 


假设 a er ^是经过一系列实验所获得的数据矩阵.如果 
这些实验再重复一遍，则得到另一数据阵在止交 Pro ¬ 
crustes 问题中 ，要知道 B 能否旋转成 A . 可求解如下 问题： 
min II A - BQ 1| 厂 ， 

(12,4.1) 

s‘t.G r a = v 

我们知道，矩阵的迹是它对角线元素之和.因此有 Tr ( C ' T C ) = 
||C II 2 F ，由0的正交性有 

|| A - BQ || ^ - tr(A T A) f lr(B T B) - 2tr(0 T B T A ). 


因此， （12.4.1) 等价于使 tr ( a T B T A ) 极大化. 

使 tir (0 T B T A ) 最大的0可通过 B T A 的 SVD 求出.若 
，…，％)为奇异值分解，定义正交阵 Z 

二 V T <2 T f /， 则 

tr(Q T B T A) = tr(Q T U£V T ) = tr(Z£) = 

r - 1 i - I 

显然，当取时 = J p ， 上界达到.由此可得下述 算法： 
算法 12.4.1 已知 A 和 Bef x '本 算法找出使得 II A - 
bq it f 达到最小的正交阵 
C = B t A 


计算 SVD :[/ t CV ; Z ， 存储 f / 和 V 
Q - UV T 

解矩阵 0 的正交极因子，见 4.2.10 节. 

例 12.4,1 


0-9999 -0.0126' 
0.0126 0.9999- 


使 


• 595 - 




达到极小. 


3 

5 

-7 


Q- 


1.2 

2.9 

5.2 

6‘8 


2.T 

4.3 

6.1 

8 . 1 - 


F 


12.4.2 零空间的交集 


设 A "和给定，考虑如何 f ■找 nolHA>n 

null ( B ) 的一组标准正交基.一种方法是计算 



的零空间.因为 Cr =0 ㈡ jGnullU ) nmjlKB ). 然而，利用下面 
的定理可得到一个更经济的算法， 

定理 12.4.1 设… ， z f 丨为 null(A) 的一组标 
准正交基.定义 Z =丨 q ，…丨，令 i 叫 ，... ，％丨为 nulKBZ) 的一 
组标准正交基，其中若 IV= [叫，…，％]，则 ZW 的列 
构成了 null(A)nmill(JO 的一组标准正交基. 

证明因为 AZ=0i(BZ)IV = 0,& ran(ZW)Cni;lKA)n 
ndKiO. 设 : cGnulK/OrinulKB )， 则存在不为 0 的 使得 

1 = 办 . 但是，由 0= 价 -^ 頌知存在 6 G 粑使得 a = TO- 所以 j 
= ZWb^ran(ZW). □ 

算法 12.4-2 给定本算法计葬出一整 
数 s 及矩阵…，兄]，使得 V的列正交且张成空间 null(A) 
flnuiKB). 若交是零空间，则 5 = 0. 

计算 SVD: U\AV a - diagU) ， 存储 ，并令 r = rank(A), 

if r<n 

C = BV A (： t r + \ ： n) 

计算 SVD: UlCV c = diagCr,) ，存储 V c ， 

令 qf = rank( C ) 
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if q<n - r 

s = n~ r~ q 

V=V A ( : ,r+l：«) V c ( •• ， q + 1 •' n ~ r) 

else 

s = 0 

end 

else 

5=0 

end 

此算法的计算工作量依赖于数的相对大小. 

我们指出，该算法的实现需要一种决定何时忽略奇异值I的 
策略.当用容许值扣例如义<茂3&=0)时，意味着在 || At \\ 2 


的意义下计算值穸的列“几乎”定义了 A 和 B 的 

共同零空间. 

例 12.4.2 



有 null ( A ) H null (B ) = span = [1， - 2, - 3 ] T . 用算法 

12.4.2 计算，得 

「 - 0.8165 0.00001 「 0.2673] 

f- 0-32731 

V 2A V 2C = - 0.4082 0.7071 卜 - 0.5345 

L- 0.9449 」 

L- 0. 4082 0,7071 」 L- 0.801&J 


^ 0*2673 



12.4.3 子空间之间的夹角 

设 F 和 G 为:中的子空间，它们的维数 满足: 


* 矽 7 • 



p — dim( F ) dim( G) — q 1. 
F 和 G 之间的主角 (? i ， …， 4 e [0,7 T /2] 定义 如下： 



= o i = i ： k - i, 

注意，主角满足： ( X 沒 1 < … < ?r d ] 呈！ w i ， … ， Wg 丨和 

Ui ， …，％ 1 称为空间 f ' 与 G 之间的 主向量 - 

主角和主向量问题在统计屮有重要应用.最大的主角与我们 

在 2 . 6 . 3 节中讨论过的等维数子空间之间的距离有关系 . 若 /> = 

y f _ 

< 7 ，则 dist ( F ， G ) = -/ 1 - cos 2 ( % ) : sin (^). 

如果 Q F ^\-^ 4 和 ， x 7 的列分别是 F 和 G 的标准正 
交基，则 

max max u 1 v 二 max max v T ( QjQo ) ^ - 

从定理 8 . 6.1 给出的奇异值的最 ^ 最小特征中可知.若 
，〜） 是 QJOg 的 SVD ， 我们可定 义〜， 

^ 如下： 

「〜，〜，％] = Q F Y , 

/ 

Lw，-..，％] = QfjZ, 

cos(S k ) - ^ , k ~ I q . 

一般的说来，空间 F 和 G 都是某给定矩阵^和 
的像空间 . 在这种情况下，所要的标准正交基可以通过计算这两个 
矩阵的 QR 分解得到 . 

算法 12*4.3 给定矩阵和每个 
都列线性无关，本算法计算出正交阵 U = [ Wl , ***, w , J , V - 
[%，…，％]及 cos(h) ，…， coa( ^ ) ，其中 A 为 ran(A) 与 ran(B) 
之间的主角 ， u k 和叫 为相应的主向量. 
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用算法 5.2.1 计算 QR 分解 

A 二 Qi4^A ， QJ\Qa ~ //} ，6 户， 

b = q#b ， q t ^b = e 

C = Q\Q b . 

计算奇异值分解： V T CZ = diag ( cos ( d k )) 

Q a Y (: , 1 ： Q ) = [ Wi，".，wj 
GnZ = [ w ，”.，％]■ 

本算法约需 4 m ( q 2 + 2 p Z ) + 2 pq(m + q ) + l 2 g 3 个 flop . 

利用 SVD 计算 4 ■:角 和主向量的思想出现在 Bj 6 rk 和 Golub 
(1973) 的文章中.他们还讨论了 A 和 B 亏秩的情况- 


12.4,4 子空间的交 


算法 12.4.3 也可用来计算 ran ( A ) nnin ( B ) 的标准正交基， 

其中 

定理 12.4.2 设 | cos ( 久）， K 1 为由算法 12.4.3 产生 
的主角和主向量.如果指标 s 定义为：1 = cos (& i) r = ■■- = cos ( 0,) 
>0^(久 + 1 )，则有 

ran ( A ) 门 ran ( B ) = span ! …，…， fl spanl vi ，…， z/ s ! ‘ 
证明 注意到，若 cos (九）= 1，则必有心=叫，从而定理成 
立 . □ 

在非精确的运算下，在算法 12,4*3 屮，有必要计算余弦值为 
1的近似重数. 

例 12.4.3 如果 


! 

1 

21 


"1 

5~ 

A = 

3 

4 

， B = 


7 



6- 

1 


一 1一 


则 ran ( A ) 和 mn ( B ) 间的主角的余弦值为 1.000 和 0.856- 

习 题 


12.4,1 证 明：若 A 和 B 是 mX 户阶阵，户，则 


■ 699 • 




min II A - BQ \\ l - ~ 文 ( c ^ A ) 2 ~2 a s (B r A ) 4 - ■ 

q 1 q= i p ■- 1 

12.4.2 推广算法 12.4. 2,使之能够计算 millUOn -' innulK 人）的标 
准正交基」 

12.4.3 推广算法 12.4. 3,使之能处理 A 和 JJ 万秩的情况. 

12.4.4 试阐述 r ^( A ) 与 m n ( B ) 之间主介 i 和主向最与下述广义特征值 
问题的特征值和特征向鲎之间的关系 

[ 0 4丁0]「1叫 = [ A r A 0 ]「” 

l - B r A 0 o U T J # J L S J ' 

12.4,5 设'且 A 列满秩.说明如何计算一对称矩阵 Jte 
JW 1 使得 II 达 到叕小 （提示:计算 A 的 SVD ). 


本节注释与参考文献 

在正交矩阵集上极小化 \\ A-BQW, 出自计 a 心理孕，见 

H- Green (1952) r “The OrthcgoiW Approximation of fin ObJiqtJe Structure in factor Anal- 
yi/’ Psyt^iom^trika 1? f 429—440, 

R Sdx>nemann (1966). Gmemlized Solution of the Ortbogni^fi] Procrustes Problem y ^ 

Psydmmetrika 31 T 1 . 一 10, 

I, Y. Bax-Itzhack ( 1975), "Iterative Optimal (Mhogori^li/^tiuii of the Strapdown Ma¬ 
trix IEEE Trans ■ Aerospace ami Electronic Systems 11 ， 30 — 37 h 

R Jr Hanson and M. J, Norris (1981) 」 Analyst of Measurements iiased on the Singular 
VaJuc Decampositiori/' SIAM J r So. and Staf. Com/? - 2 * 363 — 374. 

H. Park (1991). W A Parallel AJgorithin for the Unbalanced Orthogonal Pnjcr_istefe Prob¬ 
lem," Parallel Computing /7, 913—923, 

当时,这个问题变为找出离 A 最近的正交阵.这也等价 T 4 + 2. U) 节的极分 

解问題，见 

A 】 场 6nck and C r Bowie (1971), “An Iterative Algorithm for Computing the B&t Estimate 
of an Orthogonfll Matrix/' SIAM J - Num, Amd ■ 8, 358 — 364. 

N. J r Highatn (1986). “Computing the Polar Decomposition — with Application；^ ^ SfAM 
J ■ Sci. ami Slot- Comp 7 、 1160 — 1174. 

如果 A 本身就比较靠近 £ 交阵，则 Bjrtrdt 和 Bowie 的技巧比 SVD 更加有效 . 

min [1 AX-F|| F 在约束 Jf 为对称阵的研究 4 见： 

N. J. Highatn (1988). “The Symmetric Pnxrust^s Problem*" /JfT 28 r 133 — 143. 

用 SVD 解标准相关分析问题可见 


- 700 - 



Matrix Paris, PT Lin , Alg, amJ Its Af^p/ic , 210 f 3 — 28, 

SVD 在统计计算中有其他作用，见 

S. j. Hammarling (1985). w The Singular Value Efeuumptjsitiur] in Multivariate !5tatiisLici T ^ 
ACM SIGNUM Newsletter 2Q 、 2 — 25 ■ 

§12.5 矩阵分解的修正 

在许多应用中，当一矩阵 x " 在某种意义下变化 r 很 
小后，需要重新进行分解.例如，我们知 A 的 QR 分解，但有时会 
需要它作如下变化后的 QR 分解： U ) 给4加上某个秩1矩阵. 
a) 添加 a 的一行(或列 ），（ c ) 删去 a 的一行或一列，本节将说明 
在这些情况下，修正 A 的 QR 分解比重新开始求 QR 分解要有效 
的多.我们还将介绍当一矩阵增加一行后如何修正它的零空间. 

在讨论开始之前，要指出的一点是 ：也有 一些技木来修正下列 
分解： = U 7 M = GG 1 '， 4 = LDI ； 1 '. 然而，对这些分解迸行修正 
更为精细，因为有时需选主元以及当处理正定阵时，变化后的矩阵 
往往不正定■见 Gill , Golub , Murray 和 Saunders (1974) 以及 
Stewart (1979). 根据他们的思想，我们简要地讨论双曲变换及其 
在 Cliolesky 还原问题中的应用. 

本节需要熟悉 §3 J , §4. t ， §5.1，§5.2, §5.4 及 $5.5 中 
的内容.补充阅读材料见 G 【1 U Murray 和 Wright (1991). 

12.5.1 秩1修正 

假设我们已有分解 = ".现要求新的 QR 分解 ： B 

+⑽，其中葙为已知向量.下式显然成 
立： 

B + uv T = Q(R + xw T ) t (.12.5,1) 

其中 w = .假定已计算出旋转阵，…， j 2 ， a 使得 
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Ji 如 =± I ^ II z^i - 

其中每一 A 是作用在第 A 列与第 A + 1列之间的旋转阵（详见算 
法 5.1.3) .当这些 GLvem 旋转阵作用于1?后，叮证 

H = HR (L2.5.2) 

为上 Hessenberg 阵.例如当 m = 4的情形，开始有 



'乂 

X 

X 

X" 


-.X.- 


0 

X 

X 

X 


X 

fi = 

0 

0 

X 

X 

7 W = 

X 


-0 

0 

0 

X- 


-X- 


依下列次序更新: 


R = jfR = 


R - jjR = 


H = jjR - 


— X 

X 

X 

X - 



"X" 

0 

X 

X 

X 


: jjw = 

X 




, IV 二 


0 

0 

X 

X 


X 

-0 

0 

X 

X- 



- 0 - 

"X 

X 

X 

X' 



X' 

0 

X 

X 

X 


=- 

X 





0 

0 

X 

X 

X 


-0 

0 

X 

X ， 



- 0 - 

X 

X 

X 

X - 



x_ 

X 

X 

X 

X 


丨 T 

0 

0 




, w - 

= JlW = 

0 

X 

X 

X 



^0 

0 

X 

X- 



- 0 - 


因此， 

+ 聊丁 ) = // 土 II w || 2 e L^ T ~ H L 

( 12 . 53 ) 

为上 Hessenberg 阵. 

I算法 5.2.3 中，我们说明了如何在 0U 2 ) 次浮点运算内计 
算出一个上 Hessenberg 阵的 QR 分解.特別地，我们可找出 Givens 
旋转阵 GoA = l:wl， 使得 


‘ 702 * 



GT 1* - Ry 02.5.4) 

为上三角阵.把 （12.5.1) 和 （12.5.4) 结合起来得到 QR 分解 ： B + 
UV T = GijRi ， 其中 

Q\ = QJn 

仔细的分析可知这需要约2“ 2 个 flop . 计算向量 W = 要 
2« 2 个 flop , 计算 H 并把厶乘到0上需12,个 flop . 最后，计算 
Ri 并把 Q 乘到 G 上需12« 2 个 flop . 

这一技巧对万为长方阵的情形也是适用的.它也可推广到 B 
十 （7 V T 的 QR 分解，其中 rank ( l / V T )-/»>!■ 

12.5.2 增加或删去一列的情况 

假设已有 QR 分解： 

QR ^ A ^ 6 K ra , (12.5.5) 

把上三角阵作如下分块： 

^11 ^ ^13 

R - 0 r 从 zv T 

- 0 0 i?33 

k - 1 1 n - k 

下面我们要计算下述矩阵的 QR 分解： 

a = ，…，〜] e : 

注意 2 是 4 中删去第4列所得，且 

R U R 13 

Q t A = 0 w T = H 

- 0 1^33 - 

为} 1 Hessenbetg 阵.例如： 
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X X X X X 


0 x > x x 

0 0 > x x 

0 0 x x x ， m = — 6,^ - 3. 

0 0 0 x x 

0 0 0 0 x 

-0 0 0 0 0 - 

显然，不该出现的次对角兀仏 + 1 >可用一系列的 
Givens 旋转阵化 为零： — .这里 G , 是作用在第/ 

列与第 /十1 列之间的旋转阵 J = - 1,因此，若 Q , = QG k 〜 

G n 〖，则 为1 的 QR 分解. 

1： 面的修正程序可只用 0( n 2 ) 次运算来完成 ， 它在某些特定 
的最小二乘问题中很有用.例如，为 r 检验基本模型中第 a 个因 
素的重要性，可以在矩阵中删去此列，并解乘下的 LS 问题. 

同样，能够有效地计算矩阵4增加一列后相应的 LS 问题的 
解也是很有用处的.假设已有分解 （12.5.5), 现要 计算： 

A = [ai，--. w，a 川 ， … ， a n ] 

的 qr 分解，其中已知.若则 

Q T A = [Q 、 ， … 川， … ’Q T a„] = A ， 

除了第 A + 1列的合子外，它是上三角的. 例如： 

"xxxxxx" 

0 X X X X X 

0 0 x x x x 

0 0 Ox x x , m — 1 f ?j — 5 jk — 3' 

0 0 0 x 0 x 

0 0 0 x 0 0 

-0 0 0 x 0 0- 

可以找出 Givens 旋转阵，… 
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，Jk + i 使得 



且 

这一点. 


•Wi 



叫 +1 

0 


L 0 J 


笈为上二角阵.我们继续用上面的例子来说明 




‘X 

X 

X 

X 

X 

X" 
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X 

X 

X 

X 

X 



0 

0 

X 

X 

X 

X 

H 

= jJa = 

0 

0 

0 

X 

X 

X 



0 

0 

0 

X 

0 

X 



: 

0 

0 

0 

X 

0 

0 



-0 

0 

0 

0 

0 

0- 



'/、 

X 

X 

X 

X 

X" 



0 

X 

X 

X 

X 

X 


' 

0 

0 

X 

X 

X 

X 

H 

二 JlH - 

0 

0 

0 

X 

X 

X 



0 

0 

0 

X 

0 

X 



0 

0 

0 

0 

0 

0 



-0 

0 

0 

0 

0 

0- 



"X 

X 

X 

X 

X 

X' 



0 

X 

X 

X 

X 

X 



0 

0 

X 

X 

X 

X 

H = 

; jJh - 

0 

0 

0 

X 

X 

X 



0 

0 

0 

0 

X 

X 



0 

0 

0 

0 

0 

X 



-0 

0 

0 

0 

0 

0L 
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此修正人约需要 O ( mn ) 个 flop, 

12.5.3 增加或删去一行 


假设已知 QK 分解 一' 现要求2 的 

7- T 

QR 分解，其中 ' 注意， diRg(l t (? T )2 = | 化二 iI,Jf 为 h 

Hessenbcrg 阵.因此， W 找出 Givens 旋转阵 Ji , …， 使得 jJ." 
jjH = R 为上三角阵.由此可知 A 二便是所要的 QR 分解， 
其中 Q L = d \ Bg (\ f Q ) Jr - Jn - 

如果在4 的第& 行与第 A + 1行之间增加新的一行，更新分 
解没有本质上的困难.只要在上面的步骤中以 PA 代替 A， 以 FG 
代替 G， 其中 


结束后, diag(l，P T )0i 就是所要的正交分解因了 

最后，我们考虑一下当4的第一行删去时，如何更新它的 QR 
分解.确切地说,我们希望计算出子矩阵4 1 的0尺分解，迭里 



(删去任意一列的情形是类似的），令 ^为 0的第一行，旦计箅出 
Givens gGi ，…，使得 

Gj -^ GZ-iq =此】，‘ a ^±\. 

注意 


H = Gj-Gl. L R 

是上 Hessenbcrg 阵.且 


QG, 


G 


卜 T ]1 

^ 0 
0 Q, 
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是正交的，其中.因此， 

4 = [::]= 飢-广乂⑽…❼)= [; gj [；"]- 
从中可以看出 A ^ Q . R , 就是所要的 QR 分解. ’ 

12.5.4 双曲变换法 

我们曾提到过分解 4 = 中的“只”是 A r A = GG t 中的 

Cholesky 因子_因此，在刚刚讨论过的 QR 修正算法与 Cholesky 分 
解类似的修正问题有非常紧密的联系.我们以 Cholesky 还原问题 
来说明这一点，它相应于在 QR 分解中删去阵 A 的一行的情形. 
在这一问题中，已有 Cholesky 分解： 

GG t = A t A = 1， (12,5.6) 

L A] J L J 4 1 J 

其中我们的目标是寻找一低阶的三角 
阵 Gi 使得.对这个有趣而重要的问题有好几种不 
同的途径来处理.现给出一个依赖于双曲变换的述原步骤，它可以 
引进一些新的思路. 

我们从一个概念幵始.阵 HG ， x ™ 称为关于符号阵 S = diag 
(土 1) 是伪正交的，若 //丁511 = 5.从（12.5.6>有 A t A = A | A ! + 
zz T = GG T ， 于是有 

AjA , = = OG t ^ t =[G z ][^ _m 

定义符号阵 

5 - \ In ° I , (12.5-7) 

L 0 - 1 」 

假定能找到阵 HG ] R u + 1)x(n + 1) 使得 H T SfJ = S ，且有 性质： 

h [!t]=[ g 0 t ] ( 12 . 5 . 8 ) 


为上三角阵.由此可得: 
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r G 1 1 

AjA, = [Oz]H T 5ff[ T J - 


o]s 


Gi 


G,Gi 


这就是所寻找的 Cholesky 分解. 

现在我们说明在 （12.5.8) 中怎样利用双曲旋转构造双曲变换 
阵，一个 2X2 的双曲旋转具有如下 形式： 

F cosh (d) - smh (&)' I" c —叫 

L - sin/i ($) cos/i (0) 」 L - ( ' 」 

注意，如果 ff 6M 2>:2 是一双曲旋转阵，则 Jf T Sff 二 S， 其中 s = 
diag( - 1，1) .和 Givens 旋转阵一样，双曲旋转阵也可用来消去元 
素■从 



可得方程^2 = 5：^ .注意到当 d = 此方程无解，双曲旋转 

阵在数值上不如 Givens 旋转阵那么稳固.若 1 i #心 T 则可计算出 
相应的 cosh-sinh 对： 

if jc 2 = 0 

5 = 0 ; c = 1 

else 

if 1 X 2 l< 1 X, 1 

r = jci^oci ; c = l/v^l — c 2 i ^ = CT (12.5.9) 
else if I 1< I ! 

r = X\/x 2 'yS — l/V 1 _ c 2 i< : ^ sz 

end 


end 

察可知，这一算法产生的双曲旋转阵的范数随着 A 趋近于 A 
而变得越来越大. 

设矩阵 H = H ( P， K + U ) d (" + 1)xU + 1) 除了元素 = 
h n + i Tfi + i ^ cosk ($) , h Pfn + l = h n + Up = - sink (<?) 外，与单位阵相 
同.则必有 H T SH = S ， 其中 S 如 （12.5.7) 所述.利用 （12. 5.9)，我 
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们试图对 k =2 'n + l 找出双曲旋转阵私= H (1 j ,久）使得 



如果 A 是列满秩的，这是可以办到的.双曲旋转将元素 U + 1,0 
的值化为零.换句话说，若4列满秩，则可证每次调用 （12.5.9) 必 
可产生一 txxsA - sin/z 対，见 Alexander，Pan 和 Plemmons (1988). 


12.5.5 修正 ULV 分解 

假设4 是亏秩的，且有它的零空间的一组基.如果给 

A 增加一行， 


A - 



怎样容易地求出2零空间的基呢？当涉及到一系列这样的问题 
时，就变成了跟踪零空间的问题. 子空 间的跟踪问题出现在很多实 
时信号处理的应用中. 

用 SVD 来计算是很笨的方法，这是因为重新计算秩 - 1扰动 
后的矩阵的 SVD 需 0(n 3 ) 个 flop . 不过, Stewart(1993) 证明了，如 
果把 3.5.4 节中条件数估计的思想与完全正交分解结合起来，则 
零空间的更新问题可用 0 U 2 ) 个 flop 来完成.回想 5.4.2 节的内 
容便可知，完全的正交分解是从两边进行的，且可揭露原矩阵的 
秩： 


U J AV 


T n O' 
0 0 - 


,T n e R rXr ， 


: ank( A ), 


可用一对 QR 分解(其中一个用到了列选主）来实现这一点.在这 
种情况下 ，精 确的运算可使 T u = L 为下三角阵.但由于噪声和舍 
人误差的影响，我们实际计算成下面的 形式： 




O' 

U r AV = 

H 

E 

人 

0 

0- 


(12.5.10) 


• 709 ' 




其中 ” ）xu ~ 为下三角阵.和相比， 
JJ 和 E 是小的矩阵. m 这种情况下，我们把 （12.5.10) 称为显秩 
VLV 分解，若作分划： 

V = [ V ! V 2 ], U = [ V , f / 2 ]， 

r n — r r ?n — r 

则¥ 2 的列定义了 -近似零空 间： 

II av 2 II2 < H u 2 e f| 2 < He II2 - 


我们的月标是计算出增加了一行的阵 2 的显秩 ULV 分解.更 
明确地讲，我们的任务是如何更新阵 V 和秩数（可能的 
话），且在 0( w 2 ) 个 fbp 完成. 

注意到 


L 


U 

0 



H 

0 


Si 

ol 



交换最底一行和阵 H 与 E 下面的零行，可以看到，问题在于用 
0 ( 77 2 ) 个 flop 计算 


L 

H 

… T 


1 

0 

0 

0 

a 

0 

O' 1 


1 

/ 

0 

0 

0 

0 

0 


L 

t 

l 

0 

0 

0 

0 


1 

i 

l 

/ 

0 

0 

0 

(12.5.11) 

h 

h 

h 

h 

e 

0 

0 

h 

h 

h 

h 

e 

e 

0 


h 

h 

h 

h 

e 

e 

e 


w 

zv 


W 

y 

y 

y 」 

r 

= 4 和 n 

t 7 为例来说明主要思想. 


的显秩 ULV 分解.这里，以 
记住，元素 A 和 e 是很小的，旦已经导出数值秩是四.在实际中，这 
涉及到与 5.5.7 节中较小的容许值比较的问题. 

应用与 12.5.3 节中类似的消元技巧，可用一系列的行旋转变 


[注]与此对称的是显秩 VKV 分解,在有些情形用 URV 形式比 ULVM 好. 
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换把最后一行化为 零元: 


■xDOOiOOO - 
x x 0 0 i 0 0 0 

x x x 0 ■ 0 0 0 



x x x x ： x x 0 

X X X x i X X X 

- 0000 : 000 - 

因为这种化零过程把最底行的元素(可能很大）与其他行的元素混 
和在一起，所以三角部分一般不是显秩的，然而，可以联合利用条 
件数估计相旋转化零的技巧来恢复显秩的结构.假设增加一行后， 
零空间的维数为 2. 

用-可靠的条件数估计量,我们可得一单位向量 p 使 

\\ P T L \\ 2^ ). 

见 3.5.4 节.可以找到旋转阵丨使得 

f^67^56^S^34^23 = ^8 = 1 ^( - ,8). 

矩阵 Jf =[；品 UlX 为飞 Hessenberg 阵，它可用一 

系列的列旋转阵恢复为下三角形式 L + : 

- 12 ^23 V34^45 V56 V^7* 

可得 

(4h)v 12 v 2 ： j ‘‘-v 67 = (p r Z)v 12 w-，v 67 

的范数近似值为.因此，我们得到一个具有如下形式的下 
三角阵： 









'X 

0 

0 

0 

0 

0 

o - 

X 

X 

0 

6 

0 

0 

0 

X 

X 

X 

0 

0 

0 

0 

X 

X 

X 

X 

0 

0 

0 

X 

X 

X 

X 

X 
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0 

X 

X 

X 

X 

X 

X 

0 

—h 

h 

h 

h 

k 

h 

e ~ 


其中 h 和^上的元素很小.我们可以对匕述阵中的6^6主子矩 
阵重复条件数估计和赶零的技巧，或许又能得到一列元素很小的 
列： 


"X 

0 

0 

0 

0 

0 

O ' 

X 

X 

0 

0 

0 

0 

0 

X 

X 

X 

0 

0 

0 

0 

X 

X 

X 

X 
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0 

0 

X 

X 

X 

X 

X 

0 

0 

h 

h 

h 

h 

h 
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0 

-h 

h 

h 

h 

h 

e 

€- 


(否则，说明秩数为 6) .继续重复这 -过程 ，可以把任何下三角阵 
变成显秩的形式. 

在 (12.5.11) 中向量 j 很小的情况下，我们可以通过一种不 
同的更加有效的途径来化成显秩的 形式. 我们开始用一系列左的 
和右的 Givens 变换把: y 除第一个元素外都化为零： 




0 
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0 
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0 

o- 
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0 
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0 
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Lr " J ： X 

y 
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0- 




y 

a 
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这里 “ 14 ” 指第/行与第 J 行之间的旋转阵，“ V ，指第；列与第> 
列之间的旋转阵.观察不难发现，在这一过程中大数和小数没有混 
合在一起运算，送一点很重要1和 e 上的元素，还是很小.按照这 
一过程，我们可以找到一系列旋转变换阵把矩阵化成如下形式： 


-1 
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0 " 
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(12.5.12) 


其中: y 上的元素 很小： 
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注意 ，: yu 也是比较小的，因为 || • II 2 范数在旋转变换下 保持+ 
变 .（1.5),(2.5)，（3.5) 和 (4.5) 位置上的列旋转变换可把#上的 
元素化为零： 


V ，5 


r / 0 0 0 ： 0 0 0^ 

/ / o o 丨 "（）o 

/ / / o ； /^ o o 

I I I I 0 0 

h h h h \ e 0 0 

h h h k } e e 0 

h h h h e e e 

{} Q O y 0 0 - 


'/ 0 0 0 ； 0 0 01 

l l 0 0 I 0 0 0 

/ / / 0 p 0 0 

i i i i \ ^ d i ) 

h h h h e 0 0 

k h h h ' e e 0 

h h h h , e e e 

-y y {) 0 y Q 0 ^ 

[/ 0 0 0 . C 0 01 

/ l 0 0 : 0 '3 0 

/ / / 0 ： C 0 0 

III / ； 0 0 0 
h h h h e 0 0 

h h h h e e 0 f 

h h h h : c , e e j 

y y y y ■ y ^ 0 -^ 

因此，这就化成了 02.5 .彳 2) 中的结构.所有 ；v I :的元素，都是很 
小的，所以可用-系列的行旋转变换 t / 57 , U 47 , …， t / 17 把底部一行 
的元素化成零，得到显秩的形式： 
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习 题 


12.5.1 假设已有 A € 的 QR 分解，现要氺极小化问题 

min || (A + i^ T )x —MU 的解，其中给定.给出一个求解此问 
题 a 只需 g ( 疗出)个 flop 的算法. 

12-5.2 现有 QR 分解'给出一个求去掉4的第 A 行所 
剩下的矩阵的 QR 分解算法,它只需 0(« m ) 个 flop . 

12.5.3 设 T 6] 俨^是三对角对称阵 . 说明怎样用 Lanoros 算 

法,在 OU 2 ) 个 flop 内计算正交阵 GG ] R rt >： n 使得 e T ( T + m T )fi = J 为 H 对 
角的」 


12.5.4 设 A = 以”列满秩 ， m > n , 用 Sher ¬ 

man .. Morrisor ^ Woodbury 公式证明： 

i .. 1 + ika^)-vh 

a ^ jBj ^ a ^ U ) + 1 - c l ( A T A)- l c 
12.5.5 作为； 和 a 的函数 ,（12.5.9) 产生的双曲旋转阵的 !i • fj 2 范 
数是多少？ 

12.5.6 证明：如果 A 列满秩，则 12.5.4 节的双曲变化不会失畋. 


12. S . 7 


设 A 


H ' 

£- 


，这里 K 和 E 都是方阵 且户二 


II E !| , 


< 1 . 


r O n 

证明卽 k 


QX 2 

Q 22 


正交 ， u 


R HlTGii 
0 


Qn 


Ri 

0 - 

Q22 - 


H, 

- 


■ 715 * 






则 II 札 H 2 <_p II H i | 2 . 


本节注释与参考文献 


修正问题的诸多方面 uj 见 

p. K.Q11, G. H. Golub, W. Murray, and M. A. Saunders (1974). “Methods lor Modi¬ 
fying Matrix Factorizations ," Math . Comp . 28 , 505 — 535 - 
优化中的应用 Mf 见 

R. H, Bartels (1971). “A Stabilizalion of the Simplex Method,” Numer. Math. 16 ， 
414—434. 

P. E, Gill, W, Murray, and. M- A- Semndcrs (1975) **Methods for Computing and 

Modifying the LDV Factors of a Matrix,’ T Math . Comp. 29, 1051 — 1077- 

]).Goldfarb (1976). 11 Factored Variable Metric Methods for Unounitrained Optimization, ^ 
Math. Comp. 30, 796—811. 

J. E, Dennis and R. B. Schnabel (1983). Numerical Methods jor Vnconstruin&J Opti- 
mizaiion and Nortlittesar EquuiiotiS , Prentice-Hall T Englewood Cliffs, NJ, 

W. W. Hager (1989) - **Updating the Inverse of a Matrix," SIAM Review JJ , 221 — 
239. 

Sr K. EldersveJd and M. A Saunders (1992) - **A ES3ock-LU Update for Large-Scale Lin¬ 
ear Programming，” SIAM J. f^Aatrir AjuxI - Appl , 13 , 191 201 - 
在最 小一- _ 中的修正 H 题的 it 论见 

J. Daniel, W. B. Gragg, L. Kaufman, and G. W. Stewart (1976). ^Reorthogonaizalion 
and Stable Algorithms for Updating the Gram-Schmidt QR Faclonzalion," Math. 
Comp. 30, 772—795. 

5. Qiao (1988). “Recursive L^t Squares Algorithm f«r Linear Prediction ^rnblems," 
SIAMJ. Matrix Anai - Appl. 9 , 323—328. 

A. Bjorek, H, Park, md L, Elden (1994). "Aocurate Downdaling of Uast Squares Sdu- 
ticuiH,” SiAMJ- Matrix Ana/. Appl. i5 f 549 — 568. 

S. J, Olszanskyi ， J* M- Lcbnk, and A. W, IVijanczyk (1994) - '’Riink-k Modificalion 
Methods for Recursive Leasl Squares Problems , ，r Numerical Algorithms 7, 325 — 354, 

L, Elden and H. Park (199+ 广 il Rlock Downdating of I-east Squares SoluLions," SIAM J, 
Matrix Anal. Appl. 15, 101S—1034 - 
另一个重要的课题是条件数估计的 修正： 

W. R. Femg, G. H. Golub, and R. J，Plemnions (IW1). "Adaptive Unczos Methods 
for Recursive C/jndition Estimation," ^mnericat Algorithms i f 1 一 20- 

G* shroff and C. H, BSschof (1992). u Adaptive Condition Eslinflation for Rank-One Up- 
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dates of QR Factorizations SIAM J ^ Mairijr An^/. Appl r 13 t 1264 — L278- 
n J. Pierce and R, J. Plemmuiis (1^)92). ^Fast Adaptive Condition Estiiinanot) T M SIAM 
J. Matrix Ami . Appl. 13, 274—291. 

双曲变换的讨论可见 

G. H. Golub (1%9). q+ Mairix Decompositions and Statistical Computaiian/ 1 in Ssutisiical 
Compulation^ ed. T R. C. Milton and J. A. Nelder> Academic Press, Now York, pp, 
365—397, 

C M」R^der and A. 0. Stcinhardt ( 1988), w Hyperbolic Hjuaebolder 丁 r^nsfomos, ” 
SIAM J. Matrix Ami. Appl. 9 t 269 — 290, 

S. T」Alexander，C」T. Pan, and R J. Plemmons (1988). ''Analysis of a Recursive 
Leasl Squares Hyperbolic Rotation Algorithm for Signal Processing，” Lin , Ai^ and hs 
Applic, 98 , 3 一 40, 

G. Cybenko and M, Herry (1990)， M Hyperbolic Householder Algorithms foi Factoring 
Structured Matrices, PT SIAM J. Matrix Anal , Appl - 11 y 499 —520」 

A. W. Bojancs^yk, R. Onn, and A. O, Steinhardt <1993)，**Existence of the Hyperbolic 
Singular Value Deoon^positi™ , PJ Lin. Alg. and Its Applic - 185 T 21 — 30- 
Cholesky 分解的修正也吸引了不少注意力，见 
G- W. Stewart (l^Q). “The Effects of Rounding Error on an Algurilhm for Ebwndating 
& Cholesky Factorization t " j . lmt r Math . Applic, 23 ^ 203 — 213. 

A」W. Boj&nczyU t R. P. Brent, P. Van Dooren, and F r R, de tfcpg {1987) T w A Note 
on ftowruJating the (^iplcsky Factorization f M SZAM /, Sci . and Stat T Comp - 8 , 
210—221」 

C, S. Henkel, M. T. Heath, and R. J. Plemmons (1988). “Cbolcsky tWndating on a 
Hypercube,^ in G. Fox (1988), 1592—1598. 

C-T. Pan (1993). Perturbation Analysis of ihe PtobJem of Downdaung ii Cholesky 
Factorizaticfi/' Lin. Alg r and Its Applic r 183 y 103 — 115 T 
L. Elden and H. Park (1994). u Perturbation Analysis far Block Dbwndating of a Cholesky 
Decomposition , Numer, Math r 68 y 457 一 468, 

修正和还原 ULV 与 URV 分解及相关的课题见 
C H, BiscbofandG. M, Shrcff (1992J. "On Updating Signal Sobspaces, if lEEETmns. 
Signal Proc r 49 7 96 — 105. 

G. W. Stewart {1992}. “An Updating Algorithm far Subspace Tracking,” /EKE Trans - 
Signal Pt^c. 40, 1535—1541. 

GW. Stewart (1993). “Updating a Rank-Revealing ULV Decomposition，” SIAM J ■ 
Matrix Anal . Appl . 14 w 494 - 499. 

G. W. Stewart (1994). “Updating URV Decompositions in Parallel,” Parallel Comput- 
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ing 20 t 151—172. 

H. Park and L. Elden (1995). u l>7wnfiitLng the Raiik-ReveaLing URV ]>ecornpcwirion s F， 
SIAM J . Matrix Anal. Appi. t6 7 13S — 155. 

最后.我们提及如 卜关 = hsvn 修正的 文章： 

M, Moonen t P - Van Dooren, fmrf J. Vajidcwallc( J9Q2) r *W singular value llfeootnpcfci - 
tion upd^lmg dgoritVim /'SIAM J . ?fuitrh' AnaL Appl. 13> 1015 — 1038. 


§12.6 修正的及结构化的特征问题 

在本节中，我们讨论带约束的，逆形式的和结构化的特征值问 
题.虽然它们并不相关，但放 在-起 是为了说明如何用前述章节屮 
基本的分解思想来解决某些特殊的特征值问题. 

本节中各小节与本书前赳的内容之依赖关系 如下： 

§ 5 - 1，§ 5.2, § 8.1 ，§ 8.3 - —12.6.1 

§8.1, §8*3, §9*1 - 12.6.2 

§4.7, §8.1 - "12*6.3 

§5.1, §5-2, §5.4, §7.4, §8.1, §8.2, §8.3, §8.6 

—— -12.6.4 


12.6.1 带约束的特征值问题 

假设 AG : ET Xn 对称，函数 rtr ) = x T Ajr / x T x 的梯庶为零当 
且仅当1为 A 的一特征向量.因此， Ki ) 在稳定点的值为 A 的特 
征值. 

在某些应用中，需要找出 Kd 在约束 CTizO 下的稳定点的 
函数值.其中.假设 

Q T CZ = [S r = rank ( C ) 

L 0 0 r 

r p — r 

为 C 的完全正交分解.定义矩阵 如下： 
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以及令 

„ r w 1 r 
y 二 Q T ， = ■ 

L v J n — r 

因为变成了 s「 w = o .故原问题变为在约束寻找 
r(y)=y T By 的稳定点闲数值.但这只是相当于找出《 - r 阶对 
称阵 B22 的稳定点偵（特征值）了 


12.6*2 两个逆特征值问题 


考虑在上一小中 r = 1 的情形 . 设 1 <…为 
: cTAr/ik 在约束 C T r=0 下的稳定点值 . 由定理 8.1.7 知，这些 
稳定点值把 A 的特征值； ^ 分割开来： 

又 h < \ - J ^ 1 ^ . ^ ^ ^ 1 ^ ^ 1 * 

现假设 A 的特征值互不相同 ，11 有已知数 I ，■‘‘，、 M 满足： 

又™ < 又 n -1 < At , 1 < . < 义2 < 又1 < )1. 

我们试图找出 . 单 位向量使得 A^x T Az 在约束 r T ： r ，1 
和 C T J ： = 0 下的稳定点值 . 

为了确定 c 所满足的性质，我们应用 Lagrange 乘子法.令函 
数 

必(: r，A ，" ） = . t t Ajc - ACx 1 ^ - 1) + 2 j . u: t c 
的梯度为零，可得一重要方程 （ A - AJ ) x = - 因此 （A - AJ ) 非 

奇且 — 在这个方程的两边乘以并利用特 

征值分解 = ciiag ( A ,), 可得 


其屮 d = (2 T c ， 即 






I 1 ( A . — A ) - 0 . 

z ^ 1 } — 1 

注意， 1 二 IU ll |= II d H = … + d 是 （ — A )” 1 的系数.因 

为户 u ) 是以^，…为零点的多项式， 故有： 


H 1 〜 

fiU) = ll(Aj - A). 

从户 U ) 的两个表达式 可知 ： 】 

fl-J ti 1 

4 ， nu,D/nu, -A A )，b 1 : n. (12.6.1) 

… S 1 

除了符号 , A 可以确定 . 这样对原问题有 2 n 个不同的解 c 二你. 
一个相关的逆特征值问題是找一个三对角阵 


乂趴 … 0 

Cc 2 : 

T = \ 

-0 … 馬 -1 〜 . 


使得 T 的特征值为） Ab …， Aj ， 的特征值为 
，…，、_, ( ，其中 


Ai >Xi>X 2 > …… > \- L >A n _ l > A h . 


我们说明如何用 Lanczos 方法来计算三对角阵 T . 注意是函数 

Uy) = ^ 
y y 

在约束 d T ：y = 0 下的稳定点值，其中 AcdiagCAb — ,；^)，^* 
(12.6.1) 确定.如果我们对 A = A 和运用 Lanczos 迭代 
(9. 1.3)，则可产生一正交阵2和三对角阵 r 使得殳 7 ^^^ r .令 


尤=殳、，可知 I 是 


爹⑴ 


x t Tx 

x T x 
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在约束 dx =0下的驻点值.这正好是 T (2： n ，24 ) 的特征值, 

12.6.3 Toeplitz 特征值问题 


假设 



是一个对称正定的 Toepliz 矩阵，我们的目标是在假设 
义—以:^又^/⑺下计算丫的最小特征值 U / D.Cybenko 和 


Van Loan (1986) 考虑了该问题，它在信号处理中有应用. 



a + r^y — Aa t ar + Gy = 入 y , 
若 A 名 A(G ), 则 jy = - a(G - AJ) _1 r ， a #0 且 

a + r T [ - a(C - AJ ) _1 r ] = Aa , 


因此 A 是有理函数 

/( A ) - 1 - A - r r (G - Ai) _1 r 
的零点.我们在 §8.5 和 § 12.1 中处理过类似的函数.在这种情况 
下，/总是有负的 斜率： 

f ( y ) =-1 _ II { G - Xiy l r Ill<- 1. 


如果则它的两阶导数也是 负的： 

fiy ) =-2 r T (G - AJ )- V <0. 
利用这些事实可证，若 

A^TX A (0) < A ^ CG ), 


则 Newton 迭代 


A ㈣ = 


⑴ fU k ) 

fU k ) 


从右边单调地收敛到 r) . 注意 


( 12 . 6 . 2 ) 
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_ 入 ⑴ 4 _ i + r J w - A [ ^ ! 

1 + ’ 

其中 zv 足带位移的 Yule ， Walker 力—程 

(G — I ) u .' — — r 

之解.因为 A U) <A — ( G )， 所以 G - A U > / 是止定的.囚而，对止 
规丁0^^1 2 哗（6-4(~)/(1-又 < ^)可应用算法4.7丄 

满足（12.6.2)的初始值可以通过观察对矩阵（了-^/:|/(1_ 
A ) 的 Durbm 算法来得到.对此矩阵， “ r ” 向量是 r /( 丨 -A ) ，所以 
Durbin 算法 (4.7.1) 变为： 

r = r /( \ - A ) 

， =-n 

for ^ = I ： w — 1 

A = 1 t [: r ⑴ ] T V ⑷ (12.6.3) 

〜=_Om + r ( m W)M 

之⑴”⑷ + 也 v ⑴ 



end 

从 4.7.2 节的讨论知仏，…，啟 >0能保证 T A (11 + 1，1:々 + 1) 是 
止:交的.因此，适当地修正算法 （12.6.3) 可用来计算 m ( A )， 它是 
使得 卜…， (3 m 为正数，但的最大指标 m . 注意到若 
"*(义）=«-2，则（12.6.2)成立.这建议如下的二分法： 

选取 L 和尺，使得 A min ( T ) <乂—（ G)<R 

until m = n ~ 2 

X = (L \ R )/2 

m - m(X) 
if m < 77 - 2 

R = L 
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end 



it m = n - \ 

L = A (12.6.4) 

end 


end 

閉区间 「 L , K ] 始终包含使得 m ( A ) = « - 2 的点 A . 所以算法结束 
时， A 具有这一性质. 

初值区间有几种可能的选择.一种想法是令 L -0. K -1- 
Inl ， 因为 

0< 义醜⑺ < A—(G)< A 腳 ？] - 1 - I I • 

这里的上界由定理 8.1.7 给出. 

注意 ，（12.6.3) 和 （12.6.4) 中的迭代步至多需要 OU 2 ) 个 
flop . Cybanku 和 Van Loan { 1986) 给出了只需 O ( log ”） 次迭代的 
直观证明. 


12.6.4 正交矩阵的特征值问题 

计算正交阵政” x "的特征值和特征向量是信号处理中的 
-个问题，见 C y benko (1985 ).A 的特征值都在单位 圆上; 此外 

cck(^) ± isin{0) ^ A(A) ^ oos£> ^ A (一 ~ j = ^ | ^ ^ ) ■ 
这建议我们用 Schur 分解来计算 ReU(4)) : 

Q T ( A = fliag ( cos (。),•-.， cos (九 ))- 

然后用公式 ；=，1二7 2 来计算 hnUM ))- 不幸的是，当 Ic 丨〜 1 
时，由于浮点运算中有效数宇的抵消，这个公式不能给出一个准确 
的正弦值.不过，可以用反对称称阵 _ A T )/2 来计算小的“正 
弦”特征值.但这样的话，我们说到的是- 种需要 一对满 Schur 分 
解的方法，故它失去了吸引力- 

Ammar ， Gragg 和 Reichel (1986) 给出 T " 一'种可避免这些困难 
的方法，它涉及到有趣的奇异值分解的应用.我们只介绍他们算法 


* 723 * 




中有关特征值的那-部分.算法的吊出足构造性的，因为它实恥上 
用到 r 我们所学过的每一种分解. 

第一步是用正交阵把 A 化为上 HessenberK 阵， Q T AQ = H 
(经常 A Q 经就是 Hes ^ iiberg 形式）.不失般件，可假设 H 不可 
约，且它的次对角元为正数. 

若”为奇数，则4 -定含有一实特征值，因为实矩阵的复特 
征值总是以共轭对的形式出现.在这种情形下，仔细应用方程 Hr 
或用 OU ) 工作量就可把原问题降成《 _1 维.见 
Gragg (1986). 因此，我们可假定^为偶数. 

对 -1, 定义反射阵 

0 0 0 - 

—Ck H . 0 

■H c k 0 

0 0 

其中 = cos ( i ^ k ) , s k = sin ( A ) ， 0 < A < tt . "J 以找出阵 G i ，…， 
G „- i , 使得 

H = ( G t ••• , 1, - c rJ ). 

其中 ±1. 这正是 H 的 QR 分解.正弦值巧，…，、^是 H 的 
次对角元. “ J ?” 阵是对角形是因为它既正交又是二角阵.因为反射 
阵的行列式为-1.所以8扭（/1)=。，这个数是//的特征值的乘 
积.所以，若 t „= -1，则 I 在这种情况下也可进行 

降阶. 

所以总的说來，我们可假设 n 为偶数，且 

H = G 、 ⑹… G n -从 - OGMJ ， 

这里 O fl = G rt (^)= diag ( l ,*-* l , = l ■要求的特征值为 

A ( ff ) = | cos (^) + tsin (^) ( f =l . 


^k-i 

0 

C k = G k (h) - ^ 


其中 m = n/2. 

余弦值 q ，…， q 称为 Schur 参数.正如我们所指出的，相应 
的正弦值是 H 的次对角元.应用这些数，可以显式地构造一对角 
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阵 "使得 

* m f l : m } ) = I cos ( Q \/ l ), cos ( d m /2) \ , (12.6.5) 

cr ( Bs(l : m ' m ))= \ sin ( B ]/2) ^ ■ r ^ in ( d Tfi /2) ( T 

{ 12 . 6 . 6 ) 

和用）的奇异值可以用双对角 SVD 
算法求出.当时，可以从 sin ( A/2) 精确求出 

时，可以从 oos (久/2)求出 . B c 和均的构造棊于下面二个事 
实： 

1. H 相似于其中 H u 和坟分别是奇数个和偶教个 
反射阵的 乘积： 

H a = GiG 3 … G n U 

H e = G 2 G 「 G " 

这些矩阵是二阶块或一阶块组成的块对角陣，即 

H 0 -diag(K(^),R(^)r",l?(^ 1 ))， (12*6.7) 

K =在祕（1，*(卢2)，*(')，".，《(必- 2 )，—1)， (12.6.8) 

其中 


心卜卜⑽⑷ sinw l 

L S i n ⑷ cas ⑷ 

(12.6.9) 

2. 对称三对角阵 


c= ~i4 和 

(12.6.10) 

的特征 值为： 

A(C) = j 土 cosUi/2)， … ，土 cos(6 m /2) \ , 

(12.6.11) 

A(S) = | ± sin (心 /2) ， … ，土 sin(^/2) j. 

(12.6.12) 


3. 可以构造满足 （12. 6 . 5) 和 （12. 6 . 6) 的双对 角阵: 
U5CV C = B Ci U^V S = B s . 


变换矩阵叫，是已知的反射阵^和简单的交 
换阵的乘积. 

我们用证明 H 与 iOf , 相 似来开始这三个事实的验证=8 
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时足以说明问题.定义正交阵 

: F 3 = G^GiG^G^G-fQ^, 

P = 其中 = GsG ( } G 7 ( ra ， 

二 g 7 g ^ 

既然这些反射阵足对称的，艮当 h - 川 >2时， a , C rj - Gfi ^ 所以 
有： 

(^3^4^5 Cf > G 7 GK )( G ] C 2^3 G 4 G 5 G ^ G '7 GR ) 

• ( G ,, G 4 G 5 G 6 C 7 G 8 ) t 
= ( C l ! G 4 G 5 G ^ G 7 Gr ) Gi ^2 
— G 

F 5 (F 3 i/Fj)Fj= (G,G f ,G 7 G«)(( ； 1 G3G 2 G 4 G 5 G 6 G 7 Gs)(G 5 G & G 7 G 8 ) T 

=( g , g 6 g 7 g 8 ) g 1 g 1 g 2 g 4 


=Gi G 3 GsGiG^G^GjG^ 

php t ^ f 7 (f 5 f 3 hfJfJ)i^ 

= ( G^G^)(G ] GjG^, ) T 

- ( G 1 G 3 G 5 G 7)( G 2 G 4 G 6 Gk ) = 


我们需要建立的三个事实中的第二个反映了& = 的特 

征值和 （12.6.10) 中阵 C 与 S 的特征值之间的联系.从 （12.6.7) 
和 （12.6.8) 可知这些矩阵是对称的、二对角的和不可约的，例 


— 1 


丄 5] q _ (2 
2 0 s 2 

L 0 0 


0 0 - 

C 2 一 i '3 
S 3 d * (.4- 



S | 

0 

0 


” 0 0 - 
Cl + Cl - & 2 0 

-- c 2 - C3 一 h 

0 勾 C 3 + c 4 - 
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利用定义，易 诎： 

II + ff 1 ^ H 及十 

2 2 

H \ H J = HJI t - ( HJl e ) 

21 _ 2 i 

这表明 Re ( A (5))」 A (2 C 2 _ J )， im ( A ( i >))7 A (-2 ; CS ). 因此， 
(12.6.11) 和 （12.6.12) 成立. 

+把这 些半角 的正余弦值看成《阶阵的特征值，更存效的是 
把它们视为 m 阶阵的奇异值.这使我们双对角化 C 和基于 
和氏的 Schur 分解的正交等价变换可完成此任务 .02.6.9) 定义 
的2阶反射阵 R (>) 的特征值为 I 和_ 1，它的 Schur 分解如下： 

R(^/ 2 )R(f)R(J>/ 2 ) = () 1 . 

L 0 _ 1」 

因此，若 

Q e = diag (1， K (必 2 /2), K (么/2)，… 4(九_ 2 /2)， — 1)， 

则从 （12.6.7) 和 （12.6.8) 可知和有下列 分解： 

QM V Q U = D v = diag { 1, - 1，1， - 1，…，1， - 1)， 

QJi 丛 = A = diag(l ,1 f - 1 ， 1 ， - J ， … ， 1 ， - t ， - 1). 


矩阵 




c ⑴ = 

: OPQe = 


-\ WQM e ) + 

s ⑴: 

二 Q^Qe 

= ^ Qo ( H f - H e )H -- 

= 1^(00,) - « lQ ,) D e ) 

分别与 c 和 s 有相同的奇异值.下面分析它们的结构.首先，注意 


到仏仏呈带状 : 


fUl + HJi, 


= 20 l - f . 


H 凡 - HM , 

2 i 


二一 2iSC. 
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_x 

X 

X 

a 

0 

0 

0 

0 

X 

X 

X 

0 

0 

a 

0 

0 

0 

X 

X 

X 

X 

0 

0 

0 

0 

X 

X 

X 

X 

0 

0 

0 

0 

0 

0 

X 

X 

X 

X 

0 

0 

0 

0 

X 

X 

X 

X 

0 

0 

0 

0 

0 

0 

X 

X 

X 

-0 

0 

0 

0 

0 

X 

X 

X- 


U 二 8 的例子充分说明了从这一点得出的主要思想）.如果 
0与 认 的符号相反，则 cy 3 = o . 由此可知 c ⑴有如下 形状： 
b' 

a o 

0,2 0 63 

0 

^4 o b 5 
^5 0 6 6 

0 0 

- a l ^sJ 

类似地，若与込◦，_；)的符号相同，则由此可知 
5 (1) 的形状为 


C a) = Q a CQ e 


，⑴ 


Q^Qe 


0 

0 

fl 






亡 2 

^2 

0 

0 





0 

0 

d 3 

0 

h 





^4 

0 


0 

0 





0 

0 

^5 

0 

/s 





於 6 

0 


0 

0 





0 

0 

d 7 

,7 






^8 

0 

0_ 
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变換这些矩阵的行和列就可得到双对角 形式： 

B c = C ⑴ （[1 357246 8],[1 24 6357 8]) 



B s = S (1) ([2 4 6 8 1 3 57] ,[1 2 4 6 3 5 7 8]) 



不难证明和/上的元素均非零■这说明 B c {\' mA - m ) 
和的奇异值均不相同.因为 

ct ( C ) = ( t ( Bc ) = | 妨⑼々）， cos (内/ 2 )，..、 006 (‘ / 2 )， cos ( 0 m / 2 )[ ， 
o { S )- a { B s )= i ， 

我们证实了 （12.6.5) 和 (12.6.6) 


习 题 


12.6.1 已知'考虑在约束： 
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C / 二 U . ，， rj ；：--/> 

D' [ v-0, q 

j： | U ，v^ "的稳定点问题试说明怎样 

先汁算 C 和 D 的允全正交分解，再 itTM 峰 .4 的变换阵之子矩阵的 SVD 来求 
解此 M 题. 

12*6.2 设 Af /‘'Bt f x "，假设麗 k ( A ) =打 ，rank(B) _ 〆应 JH 
本节的方法，说明如何求解 H 题： 



i 正明这 M —个 约東 -ns 问题.它总有解 n ? 

12.6*3 设 Ae 刈称， iJG 的铁为 ".说明如何仵 
| I II广1，份= d 的约 4i 卜_极小化 r ' 心.指出何时解不: j? 在， 

12.6.4 设足大型稀疏对称阵 .re "〃也是大型稀疏的.怎 
样州 Unc / a 方法求函数 r (. r ) = . r r / L C /. r \ ? 在约朿 f 的稳定点.这 
电假设已存稀疏的 QR 分解 C -(>« 

"U 4 i (_ 0 n 

12.6.5 试找出矩阵4二 ° ° 4： ° 的特征值和特征向 M 

0 0 0 a 3 

_ A 4 0 0 0 J 

与阵 i = A | A 2 J 4_, A 4 的特征佤和特 征向 吊之间的关系.假设 A 中的刈免块 
都-見方阵. 

12.6.6 证明：若 （12-6.2) 成立，则 ⑴） 从 
右边单阔地收敛于 AdjT ). 

12 . 6.7 回想 §4.7 的内容，我们知可以在 OU 2 ) 个 fbp 之内计算对称 
正定的 Toeplitz 矩阵的逆.利; rm 事实，找一个基干 II T — 1 IU 和 II G — 1 IU 
的 （12.6.5) 的初始 LX 1 间. 

12.6.8 …个 矩阵4 6、"〜是中心对称的，如果它是对称和反向对称 
的，即彳=£„^二,，^ =八（：，/;:- 1:1) -证明 ：如罘 "一2/",及正交阵2_ 
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a 


「 /in + Ai 2- Ep H 

^ ^ [ 0 A]i - A] 2 E,„ 

其中 Au = - m ) f Ai 2 ■- A ( l : 州， r,i + 1: n ) ■证明：若 u = 则中 

心对称阵的 Sthur 分解可只用对称矩阵的 SdnJr 分解所需浮点次数 的+就 
可实现.在两种情况下都假定 ㈣ Q R 算法，$ n --2 爪+ 1时，情况又如何？ 
12.6.9 设 F , Ce 『 x " 是对称的 ， H G _[0" C ?2] 是一，_■乘《 正交 

阵.说明如何汁算 a 和尸使得 

f(Q ， p) - - iviQlFQ ,) 4- xr ( QlGQi )- 
最大 . （提 示: tr ((^ J ^) + tr < G 2 L Ge 2 ) = iKQKF - OQi * \ x ( G ).) 

12,6.10 设 ^ 给定，考虑在所有秩数不超过 r 的对称半正定矩 

阵的集合上极小化 lUl -S ■证明 ： S Aw 小 1 是这个问题的解，其 

n 

中 = gdiag ( A ]， A 2 ，…， 心）以是 A 的对称部分的 Schur 分解，0二 

[1，…， qjM 

X[ . ^ > 0 > A 出 > …〆 A n ■ 

12.6.11 对一般的 以 偶数），证明 ff 相似于好#，它如 U .6.4 节中所 


定义. 

12.6.12 证明在 12.6-4 节中的双对角阵 B c ( l : w ， l : m ) 和 B s ( l ： 

1 : m ) 对角元和次对角元非 零并确 定它们的值' 

12.6.13 形如 M =「焱 G 1的 2 n 阶实矩阵称为是矩 
L F 一 A J 

阵，若焱 or * 〜和昇， d ? 〆 " 是对 称的等 价地，如果定义正交阵 



则 MeR 2flX2 " 是 HaxniLton 矩阵当且仅当 J T MJ = M T G ) 证明 Hamillon 
矩阵的特征值由 一负一 正的对组成 i ( b ) 矩阵 seF 2 " x2n 是辛矩阵 ，若 〆 分 
二一 s ' 证 明：若 S 是辛矩阵， M 是 Hamilton 矩阵，则丨 X MS 也是 Hamil - 
ton 矩阵 .（ c ) 证 明：若 2 € : R 2 " x 2 fl 是正交的，且是辛矩阵，则0 = 

01 02 1，这里 0 fCh + 0 l <2 2 = L 且卩101是对称 的因此 ，—个形如 

0.2 01 ^ 

G ( i ，/ + «， W 的 Givens 旋转阵是正交的和辛矩阵，《阶 9 ^ 1 ^ 61 "矩阵的 
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自接和也是如此 . （ d) 说明如何计算一个 IH 夂辛矩阵 t ； 使得 
V l MV - , 

Ld - /I 1 J 

其中 Jf 是上 Hessenbcrg 阵， U 为对用阵 . 

本节注释与参考文献 

U.bA 节和 12.b.2 节中出观的逆特征值问题在下列综述文章中出现 . 

C, H. Golub {1973). “Sonic MocNfied Matnx Eigenvalue Ptrihlems.” SIAM Review i5 ， 
318—344, 

D. Boley and G. H，Golub (WS7), “A Purvey of Matrix Inverse Problems ■” 

Inverse Problems 3 f 595 — 622. 
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lem/" in Numerical Lirj^ar Algefjm T Digital Signaf Processing, and ParaiUl Algo¬ 
rithms y G. H. Golub and P. Van Dofjreri (tfds), Springer-VcrUg, Liorlin 
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C^p- 23 y 221 — 230 . 
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各种 Toeplitz 阵特征值计算在下文给 出： 
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W, F, Trench(1989). ^Numerical Solution of the Eigenvalue Problem for Hermitian Toeplitz 
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tary Matrices with Same Results for Nonnal Mftrricc^*” SIAM J r Mumer , Anal . 12 , 
421—453 」 
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Princeton Conference on / nformation Science and Sy^ns , I>pt. of Electrical Engineer¬ 
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Hamiltonian 特征 M 题 （ J 题 12.6.13) 在最优控制论中 广泛出 现且是 I _分重耍 
的 . 

C. C, Paige tiiid C. Van Iajs^u ( 19S1 )[ *%\ Schur I >ccomfx^ition for HamilIonian Matrices T 
Lin . Alg, and Us Applk .4/ T 11 — 32 

C'Van Lo£m( 1^84). ^ A Method for Approxirmtinp ； All the Ei^envtilueb of ^ 

HajniUotnan Mfllrix T ” Lin . Afg. and it m Applk . 61 >233 — 252. 
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229. 
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221—247. 

(.}. Ammar and V. Mchmi£mn(]991), T On Hamiltonian arid Sympleclic Hes&enber^ Forms，” 
Lin . Alji. and hi AppUcatui^ 149,55 — 72. 

A, hSunse-Cerstner, R. Byer^.and V. Melmn^nn (1992}. ' + A Chamrf Nam^rical Mpi bods for 
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Ritz 加速3沘 
R 双对角化293 
Saxpy 5 
Schur 补阵 116 
Schur 分解362 
Schur 向贵363 
send 321 
Sep 375 

况 lemian-Morrison 公式 55 
符号 431 
Simpson 公式 658 
90K 596 
Span 54 

SSOK 598 /r 

Strassen 方法 34 — 36,73 
Sturm 序列 510 
SVD 的 Jacobi 迭代 529—^30 
SVD 的计算量 294 
SyWester 方程 424—427 
Syl vester 惯性定律 469 
sym ■ schur 496 
SYWMLQ 574 
S 步 LancJWs 565 
Taylor 逼近 654 
Toeplitz 矩砗方法 220 
Toeplitz 阵特征值问题 720 
Trench 算法 228 
ULV 修正 709 
Vandermonde 行列式 218 
Wielandt-Hoffman 定埋 461 
Wtlkinstjn 位移 485 
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WY 表示 244 
X-O i 己号 18 
Yule-WaJker 问题 222 
半定方程 167 
倍角公式 657 
本地程序 330 
变态矩阵 90 
井行 Jacobi 方法 501 
并行计算 Cholesky 347 
并行计算 gaxpy 323 T 334 
并行计算矩阵乘法 338—M6 
不变子空间的条件 375 
不变 T 空间扰动理论 463—465 
不定方程组 183 
不可约 Hessenbei^ 矩阵 401 
不充全 Cholesky 分解 620 
不完全分块预处理 621 
长方 LU 分解 114 
饫方矩阵的条件数 266 
超定方程273 
起立方体 320 
存储 21—25 
大 O 记号 14 
代数重数 366 
带宽 17 — 18 

带选主的分块 LU 算法131—132 
带状 Cholesky 算法 177 
带状髙斯消去法175 
带状矩阵17 —18 
带状矩阵存储21 
带状矩阵的 LU 分解175 
带状矩阵的形状指标181 
带状矩阵的选主175 


带状二角方程算法 174 
单特征值366 
单位舍人 67—68 
申位舍 人误差68 
申位移 UK 迭代409 
单位阵 55 
单位止交 77 
等式约束最小二乘676 
点枳 4 

点积的舍人误差69 
点枳累加71 
迭代法590 
方失正夂性 268,558 
动态调度 
独立54 

对称 Schrn: 分解458 
对_存储23 
对称数据结构 23 
对称特征值的 Jacobi 送代494 
对称特征值问题456 
对称正定方程织159 
对称正定矩阵束535 
对分法510 
对分法的收敛性510 
对角存储24 
对角数据结构24 
对角盈I 336 
对角选主元法191 
对角占优135 
对角占优分块阵 200 
多项式预处理阵625 
多右端项问题101,136 
… 进制求幂法658 
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法方程 274,632 
反位置换 218 
反向对称矩阵220 
方差-协方差 284 
非对称 Lanczws 的块算法 586 
非对称特征值问题 357 
非奇异 55 
非酉相似变换 367 
分布式内存模型 320 
分布式数据结构 322 
分而治之方法 34 
分划矩阵 7 

分解的微分 57,115,281,317,374 

分块 Cholesky 算法 165 

分块 Householder 算法260 

分块： facobi 算法504 

分块 Lanczos 算法 563 

分块 UJ 算法 113 

分块 QR 算法 246 

分块 Sdiur 算法与矩阵函数 649— 

650 

分块髙斯消去法 131 
分块矩阵 27 

分块矩阵与数据再用 47-49 
分块三对角化 199 
分块数据结构 50 
分块算法与数据再用47 
分块循环约化法202 
分块与带状的比较200 
浮点数67 
负载均衡 324,326 
复 QR 分解 269 
复矩阵 15 


覆盖 25 
高斯变换 105 
高斯消去法〗 05 
工作空间 25 
共轭残最法 635 
共轭方向 607 

共轭梯度法 568—572.603--611 
共轭梯度法的收敛 614 
共轭梯度法与 Uncaos 法 612 
共享内存330 
共享内存的 Cholesky 351 
共享内存通信 332 
惯性定律 469 
广义逆 299 

广义特征问題与特征多项式 434 

广义特征值分解 340 

广义特征值问题 434 

行分化 7 

行加权 140 

行列式56 

环面结构 320 

环上的 Cholesky 347 

杯上的 Jacobi 特征值方法：504 

缓冲 45 

汇合 Vandermonde 矩阵 214 
混合精度 143 
机器稍度 67—68 
基 54 

极分解 169 - 

几何重数366 
计算，通信 325 
计算树 517 
加速 325 
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间 42—44 
减阶矩阵403 
降阶442,448 
交错性质462 
交换阵221 
节点程序330 
解藕3 ㈤ 

经典 Grani - Schmid 〖算法266 
经典 J aoobi 迭代497 
静态调度332 
矩阵乘矩阵9 
矩阵的 log 655 
矩阵的 sin 655 
矩阵的幂658 
矩阵的幂级数 654-655 
矩阵的平方根170 
矩阵的余弦657 
矩阵的指数662 
矩阵的秩55 
矩阵范数61 
矩阵分裂593 
矩阵函数的逼近652 
矩阵函数与分块算法649^650 
矩阵束434 

矩阵束的 Cholesky 分解537 
矩阵束的对角化535 
绝对误差59 
绝对值记号69 
块对角化424 
快速 Fourier 变换214 
快速 Givens QK 252,264 
列分划7 
列加权307 
■ 814 . 


列选主124 
临界区 W 
岭 HIH 674 
零空间55 
零空间的交6% 
零主元115 
流水线运算39 
轮流分配322 
ff 号记号8,21 
限 Jacobi 506 
幂法382 
幂法的 收敛性472 
幂法误差估汁384 
内特征值555 
逆迭代474 
逆矩阵55 
逆特征值问题719 
逆正交迭代 392 
匹配分划28 
平衡 141，417 
平衡方样组【94 
谱359 
谱肀径 593 
奇异向罱78 
奇异值78 
奇舁值的扰动520 
奇异值分解 77—79 
欠定方稈组 314 
区域分解623 
全局变量330 
全选主132 
三对角方程178 
三对角分解481 



j 三对角化 482—484,548 
二对角矩阵483 
三对角矩阵的逆622 
三级之比例102,166 
三角方程98 
三角矩阵的函数647 
扫描498 
上溢 68 

舍人误差 66—67 
实 Schur 分解394 
树结构320 
数据再用38,45 
数值秩与 SVD 302 
双对角的降阶526 
双对角化291 

双对角化和 Lanczos 方法574—575 

双对角阵18 

双共轭梯度法638 

双精度71 

双曲变换 707—709 

死锁325 

松弛因子5% 

捜索方向604 
特征多项式359 
特征方程514,673 
特征问题 QR 算法407,481 
特征向量的扰动377 
特征向量基366 
特征值359 

特征值的条件数 373-374 
特征值敏感性370,460 
特征值扰动理论 370—375 
梯子迭代388 


条件数估汁 144-146 
通信开销321,325 332 
同时对角化 535—537 
投影83 
退化矩阵366 
退化特征值366 
外积8 

外积形式的 Ch^lesky 163 
完全再正交化560 
完全正交分解 290 
网结构320 
网络拓扑320 
维数54 
伪特征值666 
稳定点718 
F 溢 68 
弦度437 

线性方程组的计算量314 
线性方程组的条件 89—91 
线性方程组敏感生即 
相对误差59 
相互确认675 
相邻320 
相容范数62 
相似变换361 
相似变换的条件数367 
相消68 

向后 SOR 迭代599 
向后误差分析72 
向后消去 99—100,174 
向量长度40 
向景触46 
向景范数58 
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向罱化179 
向量运算4,10 
向前看585 
向前误差分析72 
效率325 

修正 Grairi-Schmidt 算法267 
修正 LR 算法419 
修正特征值问题 718—720 
选取子集682 
选主列 287 
循环 Jacobi 迭代499 
循环 Jao 如迭代的收敛性499 
循环方程组231 
循环语句重排序 HU 
循环约化 202—204 
严重失败586 
隐式 Q 定理401,483 
隐式对称 QR 步487 
幽幻特征值562 
友阵403 
西矩阵81 
右特征向量360 
预处理共轭梯度法617 
约束特征问题718 
约束最小二乘671 
运算级14 
增行与减行706 
整体间 42—43 
整体最小二乘688 
正规矩阵363 
正规偏离度364 
正规性与条件数373 
正交 PKxrustes 问題695 
. 816 ■ 


正交迭代的收敛性385,477 
止交迭代与 Ritz 加速490 
TE 交对称特征值问题723 
正交基77 
正交基计算265 
IK 交矩阵239 
正交投影83 
正交阵的 WY 块形式246 
正交阵的分解形式245 
值域 54 
指数 K 问67 
秩 1 修正 462,513,701 
秩亏 LS 问题297 
置换矩阵123 
重特征值366 

重特征值的条件数 374— 375 

重特征值与 Lanczos 算法562 

主不变子空间384 

主角698 

主特征向量383 

主特征值3幻 

主向贵698 

主元 108 

转置共轭15 

追迹359 

子矩阵30 

子空间的基54 

子空间的交699 

子空间的旋转695 

子空间之间的夹角697 

子空间之间的距离84 

最速下降法604 

最速 F 降法的收敛性604 




最小二乘的基解 3 W 最小二乘问题273,297 

最小 二乘的计算量305 最小二乘问题的条件 280-283 

最小二乘的扰动 280-283 左特征向量360 
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